Tag
[2215] EAGLE 3.1: EAGLE Team、vLLM、TorchSpec間の連携による推論的デコーディングの進化
EAGLE 3.1は、LLM推論を高速化する投機的デコーディング技術の最新版です。このアルゴリズムは、小さいドラフトモデルが複数のトークンを予測し、大きなターゲットモデルがそれらを並列検証することで、推論速度を向上させます。