LLM推論5本の記事が同じ件を報じた·初出 5/29 09:00· Speculative Decoding Speculative Pipeline Decoding: パイプライン並列処理による高精度・ゼロバブル推測
Speculative Decoding (SD) はLLM推論を高速化しますが、複数トークン予測の難しさや逐次ドラフトの遅延が課題でした。本論文で提案するSpeculative Pipeline Decoding (SPD) は、ターゲットLLMをステージに分割し、パイプライン並列処理を利用します。