#Speculative Decoding30件

投機的デコーディングガイド

Speculative Decoding（SD）は、小規模なドラフトモデルで将来のトークンを予測し、大規模モデルで検証することでLLM推論を高速化します。これにより、メモリ帯域幅のボトルネックを回避し、EAGLE-3などのモデルで大幅な高速化を実現。H100/H200での最適化により、コストを50-70%削減可能です。

変動的推論による解法：トークン尤度からシーケンス受容へのドラフト学習の再考

Speculative decodingはLLMの推論を高速化するが、訓練と推論の乖離が課題となっていた。本研究では、Draftモデルの訓練を潜在的なDraftパスに対する変分推論として定式化するVariational Speculative Decoding (VSD)を提案する。VSDは、ターゲットモデルの受理確率を最大化することで、高品質な潜在パスを促進しつつ、ターゲット分布からの乖離を最小限に抑えるELBOを導出する。

推論用語彙を用いた推論的デコーディング

Speculative Decodingは、ドラフトモデルが生成したトークンをターゲットモデルが検証することでLLM推論を高速化する技術です。本稿では、出力分布計算のオーバーヘッドを削減するため、ドラフトモデルにSpeculative Vocabularyを導入します。あまり使われないトークンの埋め込みを枝刈りすることで、生成品質を損なわずにレイテンシを削減し、効率を向上させることを目指します。また、ドラフト用に従来のニューラル言語モデルに代わる選択肢も検討し、プロセスをさらに最適化する可能性を探ります。

D-cut：バッチ処理された投機的デコーディングのための適応的検証深度プルーニング

本論文では、バッチ処理された推論におけるSpeculative Decodingの効率を向上させるためのD-cutという適応的検証深度プルーニング戦略を提案する。高並列シナリオでは、長いドラフトが却下されたトークンで多くの計算資源を浪費するため、Speculative Decodingが最適でなくなるという課題に対処する。D-cutは、リクエスト全体でドラフトトークンを選択し、検証予算を最も受け入れられる可能性のあるトークンに集中させることで、この問題を解決する。実験により、D-cutは高並列下で平均速度向上を1.26倍から1.65倍に向上させ、MoEモデルでは最大3.0倍の速度向上を達成する。

Speculative decodingがLLM推論を50%以上高速化

DeepSeekが開発したDSparkは、小規模なドラフトモデルが生成したトークンを大規模言語モデルが検証する投機的デコーディング手法です。これにより、テキスト生成速度を50%以上向上させつつ、精度を維持することに成功しました。DSparkは、ドラフトモジュールの追加により既存のDeepSeekモデルの性能を強化し、MITライセンスで公開されています。

DSpark: 信頼度スケジュールによる投機的デコーディングと半自動回帰生成

DSparkは、高スループット並列生成と適応型負荷認識検証を統合した推論高速化フレームワークである。半自己回帰アーキテクチャと軽量シーケンシャルモジュールを組み合わせることで、ブロック内の依存関係モデリングを導入し、サフィックス減衰を緩和する。さらに、信頼度スケジュール検証を採用し、各リクエストの検証長を動的に調整することで、システム効率を最適化する。

Speculative Decoding：vLLMにおける理論と実装

Speculative decodingは、LLMの生成速度を劇的に向上させる技術であり、ターゲットモデルとドラフトモデルの「ドラフト・アンド・ベリファイ」パイプラインを利用します。ドラフトモデルが候補トークンを高速に生成し、ターゲットモデルがそれを一度に検証することで、メモリ帯域幅のボトルネックを解消します。この手法は、モデルの出力を一切変更せずに、生成速度を2〜3倍に向上させることが可能です。

DSpark：半教師あり生成による信頼度スケジューリング型推論デコーディング

DSparkは、LLM推論を加速する投機的デコーディングフレームワークであり、高スループットの並列生成と適応的で負荷認識型の検証を統合します。半自己回帰アーキテクチャを採用し、並列バックボーンと軽量シーケンシャルモジュールを組み合わせることで、ブロック内の依存関係モデリングを導入し、サフィックスの減衰を軽減します。

Speculative Decoding解説：Draft ModelsはAI Agentsをどう高速化するか

Speculative decodingは、LLMの逐次的なトークン生成のボトルネックを解消する技術です。小型で高速なドラフトモデルがトークンを予測し、大型で高精度なターゲットモデルがそれらを並列に検証します。これにより、出力品質を維持したまま推論速度を2〜3倍向上させることが可能です。特に、AIエージェントのような多段階のワークフローでは、レイテンシの累積が解消されるため、その効果は顕著です。

Speculative Decoding AI研究

Speculative decodingは、大規模言語モデル（LLM）の推論速度を向上させるAI技術です。小型の「ドラフト」モデルでトークン列を予測し、大型の「検証」モデルでそれを確認することで計算オーバーヘッドを削減します。これによりLLMのテキスト生成速度が大幅に向上し、リアルタイムアプリケーションや大規模展開での効率を高めます。

[7189] Parallel-EAGLE (P-EAGLE) はドラフト生成を並列化することでSpeculative Decodingを加速する

AWSは、ドラフトトークン生成プロセスを並列化する革新的な手法「Parallel-EAGLE (P-EAGLE)」を導入した。これは、推測深度が増加するにつれて遅延が発生する従来のアウトリグレッシブアプローチとは異なり、P-EAGLEは単一のフォワードパスで全ての推測ドラフトトークンを同時に予測し、このボトルネックを解消する。

次世代のSpeculative Decoding：DFlashとSpec V2

LLM推論を高速化する投機的デコーディングにおいて、DFlashは軽量なブロック拡散モデルを用いた並列ドラフティングにより、ドラフトモデルの計算コストを大幅に削減する新しいアプローチを提案。KVインジェクションと組み合わせることで、トークン受容率を向上させる。SGLangのSpec V2エンジンと統合することで、EAGLEやMTPなどの既存手法を上回る最先端のLLM推論レイテンシを達成した。

[6299] Block VerificationによるSpeculative Diffusionsの高速化

投機的デコーディングを拡散モデルに適用する際の課題（連続空間での残差分布からのサンプリングの難しさ）に対し、ブロック検証を可能にする新しいスキームを提案。これによりドラフト受容率が向上し、「Free Drafter」ヒューリスティック（学習不要）を用いることで最大6.3%の速度向上が見込める。

[6078] Parallel-EAGLE: Speculative Decodingを完全並列処理に変換

AWSが開発したParallel-EAGLE（P-EAGLE）は、従来の逐次的なドラフト生成プロセスを完全に並列化する画期的な手法であり、推論速度を向上させるSpeculative Decodingをさらに進化させた。

[5357] Speculative Decoding：LLMが回答を変えずにトークンをより速く生成する方法

投機的デコーディングは、より小さい高速な「ドラフト」モデルで次のトークンを予測し、より大きい「ターゲット」モデルで並列検証することにより、LLM推論を高速化する技術である。これにより、ターゲットモデルが出力分布を標準の自己回帰デコーディングと同じに保つため、出力品質を損なうことなくレイテンシとコストを大幅に削減できる。LLM推論のボトルネックである逐次処理を回避し、大規模展開を可能にする。

Variational Speculative Decoding: トークン尤度からシーケンス受容へのドラフトトレーニングの再考

「Variational Speculative Decoding (VSD)」は、LLMの投機的デコーディングにおける学習とデコーディングの乖離を解消する手法を提案します。VSDは、ターゲットモデルの受諾確率を最大化するために、潜在的な提案（ドラフトパス）に対する変分推論としてドラフト学習を定式化します。

[3580] Speculative Pipeline Decoding: パイプライン並列処理による高精度・ゼロバブル推測

Speculative Decoding (SD) はLLM推論を高速化しますが、複数トークン予測の難しさや逐次ドラフトの遅延が課題でした。本論文で提案するSpeculative Pipeline Decoding (SPD) は、ターゲットLLMをステージに分割し、パイプライン並列処理を利用します。

[2834] Speculative Decoding in Production LLM Inference 2026: EAGLE-3、Medusa、vLLM、およびスループット3倍

Speculative decodingは、2026年のLLM推論において、既存ハードウェアで2.0〜3.2倍のスループット向上を実現する未活用最適化技術です。vLLMなどのサービングスタックと容易に統合でき、EAGLE-3やMedusaといった手法をサポートします。特にRAGワークロードで効果的ですが、長文コンテキストでは性能低下の可能性も指摘されています。

[2394] HiSpec: LLM向け階層的推測デコーディング

Speculative decodingは、LLMの推論スループットを向上させるための効率的な手法です。この手法では、小さなドラフトモデルがトークンを予測し、大きなターゲットモデルがそれらを検証します。これにより、推論速度が向上しつつも、ターゲットモデルと同等の精度が維持されます。しかし、検証フェーズがドラフト生成よりも遅いという課題があります。

[2215] EAGLE 3.1: EAGLE Team、vLLM、TorchSpec間の連携による推論的デコーディングの進化

EAGLE 3.1は、LLM推論を高速化する投機的デコーディング技術の最新版です。このアルゴリズムは、小さいドラフトモデルが複数のトークンを予測し、大きなターゲットモデルがそれらを並列検証することで、推論速度を向上させます。

Speculative Decoding

Speculative Decodingは、ドラフトモデルで複数トークンを先行予測し、メインモデルが単一バッチで検証することでトークン生成を大幅に高速化する技術です。バッチ処理の効率を活用し、ドラフト予測が正確な場合に大幅な速度向上を実現します。パラメータ調整により、速度と受容率を最適化できます。

[994] Speculative Decodingは、リアルタイムAIアプリケーションをより応答性良く、コスト効率の高いものにするための重要な進展です

Speculative Decodingは、高速なドラフトモデルで将来のトークンを並列予測し、大規模なターゲットモデルで検証することでLLM推論を加速します。これにより、順次トークン生成のボトルネックを回避し、品質を損なわずに生成速度を2～4倍に向上させることが可能です。 chatbotsなどの低遅延アプリケーションに不可欠です。

[188] Speculative DecodingによるLarge Language Model推論の高速化

Speculative Decoding（SD）は、ドラフトモデルで候補トークンを提案し、それをより大きなターゲットモデルで並列検証することにより、LLM推論を高速化します。この「ドラフト・アンド・検証」アプローチは、ターゲットモデルの実行とメモリアクセスオーバーヘッドを複数の候補に分散させ、バッチサイズとGPU利用率を効果的に向上させます。

[141] より高速、より低コスト、そして賢さもそのまま：Speculative Decoding による LLM 推論の経済性の改善

Speculative Decodingは、より小さく高速なドラフトモデルでトークンを提案し、より大きく能力の高いモデルで検証することで、LLM推論を改善します。このアプローチは、出力品質を損なうことなくレイテンシとコストを大幅に削減し、LLM展開をより実用的にし、リアルタイムアプリケーションを可能にします。

[114] LLM ServingにおけるSpeculative Decodingのための解釈可能なレイテンシモデル

Speculative Decoding（SD）は、より小さなドラフトモデルでトークンを提案し、より大きなターゲットモデルで並列検証することでLLM推論速度を向上させます。これにより、コストのかかるターゲットモデルのデコードステップ数を大幅に削減できます。しかし、リクエスト負荷が変動する動的な本番環境でのパフォーマンスは十分に調査されていません。

[90] Speculative Decoding: パフォーマンスか、それとも幻想か？

Speculative Decodingは、小さなドラフトモデルでトークンを提案し、大きなターゲットモデルで検証するLLM推論高速化技術ですが、ターゲットモデルと完全に一致しない有効なトークンも拒否してしまう課題がありました。本論文では、LLM-as-a-judgeフレームワークに着想を得た「Judge Decoding」を提案。

Speculative Decoding の解説

Speculative Speculative Decoding (SSD)は、LLM生成の遅延を大幅に削減する推論技術です。ドラフトモデルと検証モデルを並列実行し、ドラフトモデルが次の推測を準備する間にターゲットモデルが現在の推測を検証します。これにより、逐次処理ではなく並列実行が可能となり、出力品質を損なうことなく推論遅延を劇的に低減させます。