LLM推論★8· Speculative Decoding [7189] Parallel-EAGLE (P-EAGLE) はドラフト生成を並列化することでSpeculative Decodingを加速する
AWSは、ドラフトトークン生成プロセスを並列化する革新的な手法「Parallel-EAGLE (P-EAGLE)」を導入した。これは、推測深度が増加するにつれて遅延が発生する従来のアウトリグレッシブアプローチとは異なり、P-EAGLEは単一のフォワードパスで全ての推測ドラフトトークンを同時に予測し、このボトルネックを解消する。