Tag
[7189] Parallel-EAGLE (P-EAGLE) はドラフト生成を並列化することでSpeculative Decodingを加速する
AWSは、ドラフトトークン生成プロセスを並列化する革新的な手法「Parallel-EAGLE (P-EAGLE)」を導入した。これは、推測深度が増加するにつれて遅延が発生する従来のアウトリグレッシブアプローチとは異なり、P-EAGLEは単一のフォワードパスで全ての推測ドラフトトークンを同時に予測し、このボトルネックを解消する。
[6078] Parallel-EAGLE: Speculative Decodingを完全並列処理に変換
AWSが開発したParallel-EAGLE（P-EAGLE）は、従来の逐次的なドラフト生成プロセスを完全に並列化する画期的な手法であり、推論速度を向上させるSpeculative Decodingをさらに進化させた。