#SPD1件

[3580] Speculative Pipeline Decoding: パイプライン並列処理による高精度・ゼロバブル推測

Speculative Decoding (SD) はLLM推論を高速化しますが、複数トークン予測の難しさや逐次ドラフトの遅延が課題でした。本論文で提案するSpeculative Pipeline Decoding (SPD) は、ターゲットLLMをステージに分割し、パイプライン並列処理を利用します。