LLM推論重要度 ★9
Speculative Vocabularyを用いたSpeculative Decoding
Speculative Decoding with a Speculative Vocabulary
Speculative Decoding·2026/7/2
AI要約
本論文では、言語モデル（LM）推論の高速化における主要なアプローチであるSpeculative Decodingに焦点を当て、その効率と有効性をさらに向上させるための新しい手法「SpecVocab」を提案する。SpecVocabは、従来の縮小語彙サイズのアプローチとは異なり、各デコーディングステップで語彙サブセットを選択する「語彙的推測」を採用する。
AI要点
- Speculative Decodingの効率を向上させる新手法「SpecVocab」が提案された。
- SpecVocabは、各ステップで語彙サブセットを選択する「語彙的推測」を採用する。
- ターゲットトークンが推測語彙外でも有効性を維持し、高い受容長とスループットを実現する。
- 実験では、SpecVocabが最先端手法EAGLE-3を上回り、最大8.1%のスループット向上を示した。
なぜ重要か
SpecVocabは、LLMの推論速度を大幅に向上させる可能性があり、リアルタイム処理や大規模言語モデルの利用コスト削減に貢献します。