Agent におけるプロンプトキャッシュ

エージェントにおけるプロンプトキャッシュの概念について解説しています。プロンプトキャッシュは、LLMの応答を高速化し、コストを削減する可能性があり、エージェントの効率を向上させるための重要な技術です。

• 大規模言語モデル（LLM）を搭載したコーディングエージェントでは、プロンプトの大部分が前回と同じであり、逐次的な追加が主である。
• セッションが長くなると、毎回プロンプト全体を再計算するのは遅く、コストがかかるため、プロンプトキャッシュが経済性を確保する。
• プロンプトキャッシュは、ツール定義の変更やモデル切り替えなどで壊れやすく、リクエスト全体を再実行させる可能性がある。
• コーディングエージェントにおいて、プロンプトキャッシュの挙動はレイテンシ、コスト、ツール設計、セッション設計に影響を与える。
• KVキャッシュは、Transformerがプロンプトを処理する際のAttentionレイヤーで生成され、過去のトークン情報を保持することで再計算を防ぐ。