#Variational Inference2件

変動的推論による解法：トークン尤度からシーケンス受容へのドラフト学習の再考

Speculative decodingはLLMの推論を高速化するが、訓練と推論の乖離が課題となっていた。本研究では、Draftモデルの訓練を潜在的なDraftパスに対する変分推論として定式化するVariational Speculative Decoding (VSD)を提案する。VSDは、ターゲットモデルの受理確率を最大化することで、高品質な潜在パスを促進しつつ、ターゲット分布からの乖離を最小限に抑えるELBOを導出する。

Variational Speculative Decoding: トークン尤度からシーケンス受容へのドラフトトレーニングの再考

「Variational Speculative Decoding (VSD)」は、LLMの投機的デコーディングにおける学習とデコーディングの乖離を解消する手法を提案します。VSDは、ターゲットモデルの受諾確率を最大化するために、潜在的な提案（ドラフトパス）に対する変分推論としてドラフト学習を定式化します。