永続メモリの一番怖い失敗は「忘れること」ではなく「誤りが権威になること」

AIエージェントにおける永続メモリの運用で発生した「誤りが権威になる」という失敗事例を解説。間違った記憶が確認済みの事実として扱われ、正しいデータを上書きしてしまう危険性について述べている。

• 永続メモリにおける最も危険な失敗は「忘却」ではなく「誤りが権威になること」だと指摘している。
• AIエージェントが誤った記憶（旧数値）を「確認済みの事実」と捉え、正しいデータを上書きしようとする事例を紹介している。
• 忘却は安全側に倒れるが、誤記憶は自信を持って断言され、検知が困難で正しいデータを壊すリスクがあると説明している。
• 誤った記憶の対策として、メモリに「出典」と「反証条件」を必ず記載し、一次情報を確認することを推奨している。
• 「メモリだけを根拠に破壊的変更をしない」という運用ルールと、検証できない記憶は「検証できない」と明記することの重要性を説いている。