LLM推論重要度 ★8
[3580] Speculative Pipeline Decoding: パイプライン並列処理による高精度・ゼロバブル推測
Speculative Pipeline Decoding: Higher-Accuracy and Zero-Bubble Speculation via Pipeline Parallelism
Speculative Decoding·2026/5/29
AI要約
Speculative Decoding (SD) はLLM推論を高速化しますが、複数トークン予測の難しさや逐次ドラフトの遅延が課題でした。本論文で提案するSpeculative Pipeline Decoding (SPD) は、ターゲットLLMをステージに分割し、パイプライン並列処理を利用します。