LLM推論重要度 ★8
[6078] Parallel-EAGLE: Speculative Decodingを完全並列処理に変換
Parallel-EAGLE: Transforming Speculative Decoding into a Fully Parallelized Operation
Speculative Decoding·2026/6/16
AI要約
AWSが開発したParallel-EAGLE（P-EAGLE）は、従来の逐次的なドラフト生成プロセスを完全に並列化する画期的な手法であり、推論速度を向上させるSpeculative Decodingをさらに進化させた。
AI要点
- AWSが開発したParallel-EAGLE（P-EAGLE）は、Speculative Decodingを完全に並列化する手法である。
- P-EAGLEはドラフトトークンを一度のフォワードパスで同時に予測し、逐次処理のボトルネックを解消する。
- speculation depth とドラフターレイテンシの関係がなくなり、追加コストなしでより深いspeculationが可能になる。
- EAGLE-3と比較して本番ワークロードで最大1.69倍のスループット向上を実現し、出力品質は損なわれない。
なぜ重要か
推論速度を大幅に向上させるSpeculative Decodingを完全に並列化することで、LLMの推論コストを削減し、より高速な応答を実現する技術的ブレークスルーとなった。