Speculative Decoding

Speculative Decodingは、ドラフトモデルで複数トークンを先行予測し、メインモデルが単一バッチで検証することでトークン生成を大幅に高速化する技術です。バッチ処理の効率を活用し、ドラフト予測が正確な場合に大幅な速度向上を実現します。パラメータ調整により、速度と受容率を最適化できます。