研究/論文重要度 ★8
Variational Speculative Decoding: トークン尤度からシーケンス受容へのドラフトトレーニングの再考
Variational Speculative Decoding: Rethinking Draft Training from Token Likelihood to Sequence Acceptance
Speculative Decoding·2026/6/9
AI要約
「Variational Speculative Decoding (VSD)」は、LLMの投機的デコーディングにおける学習とデコーディングの乖離を解消する手法を提案します。VSDは、ターゲットモデルの受諾確率を最大化するために、潜在的な提案（ドラフトパス）に対する変分推論としてドラフト学習を定式化します。