#LLM inference16件

推論用語彙を用いた推論的デコーディング

Speculative Decodingは、ドラフトモデルが生成したトークンをターゲットモデルが検証することでLLM推論を高速化する技術です。本稿では、出力分布計算のオーバーヘッドを削減するため、ドラフトモデルにSpeculative Vocabularyを導入します。あまり使われないトークンの埋め込みを枝刈りすることで、生成品質を損なわずにレイテンシを削減し、効率を向上させることを目指します。また、ドラフト用に従来のニューラル言語モデルに代わる選択肢も検討し、プロセスをさらに最適化する可能性を探ります。

D-cut：バッチ処理された投機的デコーディングのための適応的検証深度プルーニング

本論文では、バッチ処理された推論におけるSpeculative Decodingの効率を向上させるためのD-cutという適応的検証深度プルーニング戦略を提案する。高並列シナリオでは、長いドラフトが却下されたトークンで多くの計算資源を浪費するため、Speculative Decodingが最適でなくなるという課題に対処する。D-cutは、リクエスト全体でドラフトトークンを選択し、検証予算を最も受け入れられる可能性のあるトークンに集中させることで、この問題を解決する。実験により、D-cutは高並列下で平均速度向上を1.26倍から1.65倍に向上させ、MoEモデルでは最大3.0倍の速度向上を達成する。

次世代のSpeculative Decoding：DFlashとSpec V2

LLM推論を高速化する投機的デコーディングにおいて、DFlashは軽量なブロック拡散モデルを用いた並列ドラフティングにより、ドラフトモデルの計算コストを大幅に削減する新しいアプローチを提案。KVインジェクションと組み合わせることで、トークン受容率を向上させる。SGLangのSpec V2エンジンと統合することで、EAGLEやMTPなどの既存手法を上回る最先端のLLM推論レイテンシを達成した。

[6299] Block VerificationによるSpeculative Diffusionsの高速化

投機的デコーディングを拡散モデルに適用する際の課題（連続空間での残差分布からのサンプリングの難しさ）に対し、ブロック検証を可能にする新しいスキームを提案。これによりドラフト受容率が向上し、「Free Drafter」ヒューリスティック（学習不要）を用いることで最大6.3%の速度向上が見込める。

Variational Speculative Decoding: トークン尤度からシーケンス受容へのドラフトトレーニングの再考

「Variational Speculative Decoding (VSD)」は、LLMの投機的デコーディングにおける学習とデコーディングの乖離を解消する手法を提案します。VSDは、ターゲットモデルの受諾確率を最大化するために、潜在的な提案（ドラフトパス）に対する変分推論としてドラフト学習を定式化します。

[3580] Speculative Pipeline Decoding: パイプライン並列処理による高精度・ゼロバブル推測

Speculative Decoding (SD) はLLM推論を高速化しますが、複数トークン予測の難しさや逐次ドラフトの遅延が課題でした。本論文で提案するSpeculative Pipeline Decoding (SPD) は、ターゲットLLMをステージに分割し、パイプライン並列処理を利用します。

[2834] Speculative Decoding in Production LLM Inference 2026: EAGLE-3、Medusa、vLLM、およびスループット3倍

Speculative decodingは、2026年のLLM推論において、既存ハードウェアで2.0〜3.2倍のスループット向上を実現する未活用最適化技術です。vLLMなどのサービングスタックと容易に統合でき、EAGLE-3やMedusaといった手法をサポートします。特にRAGワークロードで効果的ですが、長文コンテキストでは性能低下の可能性も指摘されています。

[2215] EAGLE 3.1: EAGLE Team、vLLM、TorchSpec間の連携による推論的デコーディングの進化

EAGLE 3.1は、LLM推論を高速化する投機的デコーディング技術の最新版です。このアルゴリズムは、小さいドラフトモデルが複数のトークンを予測し、大きなターゲットモデルがそれらを並列検証することで、推論速度を向上させます。

Speculative Decoding

Speculative Decodingは、ドラフトモデルで複数トークンを先行予測し、メインモデルが単一バッチで検証することでトークン生成を大幅に高速化する技術です。バッチ処理の効率を活用し、ドラフト予測が正確な場合に大幅な速度向上を実現します。パラメータ調整により、速度と受容率を最適化できます。

[188] Speculative DecodingによるLarge Language Model推論の高速化

Speculative Decoding（SD）は、ドラフトモデルで候補トークンを提案し、それをより大きなターゲットモデルで並列検証することにより、LLM推論を高速化します。この「ドラフト・アンド・検証」アプローチは、ターゲットモデルの実行とメモリアクセスオーバーヘッドを複数の候補に分散させ、バッチサイズとGPU利用率を効果的に向上させます。

[141] より高速、より低コスト、そして賢さもそのまま：Speculative Decoding による LLM 推論の経済性の改善

Speculative Decodingは、より小さく高速なドラフトモデルでトークンを提案し、より大きく能力の高いモデルで検証することで、LLM推論を改善します。このアプローチは、出力品質を損なうことなくレイテンシとコストを大幅に削減し、LLM展開をより実用的にし、リアルタイムアプリケーションを可能にします。

[90] Speculative Decoding: パフォーマンスか、それとも幻想か？

Speculative Decodingは、小さなドラフトモデルでトークンを提案し、大きなターゲットモデルで検証するLLM推論高速化技術ですが、ターゲットモデルと完全に一致しない有効なトークンも拒否してしまう課題がありました。本論文では、LLM-as-a-judgeフレームワークに着想を得た「Judge Decoding」を提案。

Speculative Decoding の解説

Speculative Speculative Decoding (SSD)は、LLM生成の遅延を大幅に削減する推論技術です。ドラフトモデルと検証モデルを並列実行し、ドラフトモデルが次の推測を準備する間にターゲットモデルが現在の推測を検証します。これにより、逐次処理ではなく並列実行が可能となり、出力品質を損なうことなく推論遅延を劇的に低減させます。