『検証済み』の偽記憶でAIエージェントに安全確認を省かせるFARMA

FARMA（False-Memory-Augmented Agent）という、AIエージェントに「検証済み」という偽の記憶を植え付けることで、本来必要な安全確認を省略させる攻撃手法について解説。記憶を持つAIエージェントの新たな脆弱性を示し、過去の検証済み手順をスキップさせることで、バリデーションやチェックプロセスを無効化する危険性を指摘する。

• FARMAは、AIエージェントの記憶（過去の検証済みという判断）を汚染し、安全確認を省略させる攻撃手法。
• 攻撃者は偽の検証済みレコードを記憶ストアに大量に注入し、多数決型の防御策を無力化する。
• 既存の防御策（キーワード除去、A-MemGuard）は、FARMA攻撃に対して成功率をほとんど低下させなかった。
• 提案された防御策SENTINELは、記憶への書き込み時に汚染度（taint）をタグ付けし、閾値を超えたら書き込みを阻止する。
• AIエージェントの記憶汚染は、検証プロセスなどの安全確認を省略させる深刻な脆弱性となりうる。