Tag
Variational Speculative Decoding: トークン尤度からシーケンス受容へのドラフトトレーニングの再考
「Variational Speculative Decoding (VSD)」は、LLMの投機的デコーディングにおける学習とデコーディングの乖離を解消する手法を提案します。VSDは、ターゲットモデルの受諾確率を最大化するために、潜在的な提案（ドラフトパス）に対する変分推論としてドラフト学習を定式化します。