変分推論による推論：トークン尤度から系列受容へのドラフト学習の再考

本研究では、LLMの推論を高速化するスペキュラティブ・デコーディング（SD）における、訓練と推論の間の不一致を解消するために、Variational Speculative Decoding (VSD) を提案する。VSDは、ドラフトパスの確率分布を直接最適化する変分推論フレームワークを導入し、ターゲットモデルによる承認確率を最大化する。これにより、高品質なドラフトパスの生成とターゲット分布からの逸脱の最小化を両立させ、期待承認長に対するよりタイトな下限を達成する。

• LLMの推論高速化技術であるスペキュラティブ・デコーディング(SD)の訓練と推論の不一致を解消するVSDを提案。
• VSDはドラフトパスの確率分布を直接最適化する変分推論フレームワークを導入し、承認確率を最大化する。
• 高品質なドラフトパス生成とターゲット分布からの逸脱最小化を両立させることを目指している。
• これにより、期待承認長に対するよりタイトな下限を達成できると主張している。