Speculative Decoding の解説

Speculative Speculative Decoding (SSD)は、LLM生成の遅延を大幅に削減する推論技術です。ドラフトモデルと検証モデルを並列実行し、ドラフトモデルが次の推測を準備する間にターゲットモデルが現在の推測を検証します。これにより、逐次処理ではなく並列実行が可能となり、出力品質を損なうことなく推論遅延を劇的に低減させます。