エージェントで膨らむKVキャッシュを、prefixキャッシュを壊さず刈るIntentKV

AIエージェントが長期間稼働する際に問題となるKVキャッシュの肥大化について解説。検索ツールや過去の推論ログがコンテキストに蓄積され、メモリ消費のボトルネックとなる。この問題を解決するため、IntentKVというprefixキャッシュを維持しつつ不要なKVキャッシュを刈る手法を提案している。

• エージェントAIで問題となるKVキャッシュのメモリ膨張に対し、「IntentKV」が新たな解決策を提案。
• 従来のKV削減手法がPrefixキャッシュを壊す問題を、トークンを「無効化」して位置を固定することで解決。
• セッション全体の「意図」を考慮してトークンを選択し、メモリ効率と正答率を両立させる。
• 同じKV予算で他手法の倍以上の正答率を達成し、ピークトークン数とKV読み出し量を大幅に削減。