#変分推論

変分推論による推論：トークン尤度から系列受容へのドラフト学習の再考

本研究では、LLMの推論を高速化するスペキュラティブ・デコーディング（SD）における、訓練と推論の間の不一致を解消するために、Variational Speculative Decoding (VSD) を提案する。VSDは、ドラフトパスの確率分布を直接最適化する変分推論フレームワークを導入し、ターゲットモデルによる承認確率を最大化する。これにより、高品質なドラフトパスの生成とターゲット分布からの逸脱の最小化を両立させ、期待承認長に対するよりタイトな下限を達成する。