プレフィックスキャッシング | LLM推論ハンドブック - BentoML

Prefix caching（プロンプトキャッシュ、コンテキストキャッシュ）は、チャットシステムやRAGパイプラインのように繰り返しプロンプト構造を持つワークロードで、LLM推論の遅延とコストを削減する重要な技術です。処理済み入力プレフィックスのKVキャッシュを保存・再利用することで、同一プレフィックスを持つ新しいクエリの再計算をスキップします。これにより、計算量と遅延が大幅に削減されます。