LLM推論重要度 ★8
[2215] EAGLE 3.1: EAGLE Team、vLLM、TorchSpec間の連携による推論的デコーディングの進化
EAGLE 3.1: Advancing Speculative Decoding Through Collaboration Between the EAGLE Team, vLLM, and TorchSpec
Speculative Decoding·2026/5/27
AI要約
EAGLE 3.1は、LLM推論を高速化する投機的デコーディング技術の最新版です。このアルゴリズムは、小さいドラフトモデルが複数のトークンを予測し、大きなターゲットモデルがそれらを並列検証することで、推論速度を向上させます。