チャットに常駐するAIエージェントの「長期記憶」をどう設計するか

チャットに常駐するAIエージェントの「長期記憶」設計について解説。コンテキストウィンドウの限界と記憶の揮発性という課題に対し、人間でいう短期記憶に近いコンテキストウィンドウだけでは解決しないとし、長期記憶の設計方法を整理している。

• 常駐AIエージェントの長期記憶問題に対し、記憶を「短期」「中期」「長期」の3層に分ける設計が有効です。
• 短期記憶は直近の会話、中期記憶は要約・タスク、長期記憶は恒常的な事実を格納し、それぞれ異なる保存先と扱い方をします。
• 長期記憶への昇格は、LLMの判断任せにせず、構造化ルールに基づいたパイプライン処理で判断することが再現性を高めます。
• 長期記憶は時間経過で減衰させる仕組みを導入し、参照頻度と経過時間を考慮して検索スコアを調整することでノイズを削減します。
• 「忘れさせる」操作を明示的なAPIとして用意し、記憶のエントリに出所情報を持たせることが実運用で重要となります。