『検証済み』の偽記憶でAIエージェントに安全確認を省かせるFARMA

AIエージェントに安全確認を省略させる技術「FARMA」に関する論文の紹介。偽記憶を利用してエージェントに誤った検証済み情報を信じ込ませる手法で、AIエージェントの安全性と倫理的課題に触れている。

• FARMAは、AIエージェントの記憶を汚染することで安全確認を回避させる攻撃手法である。
• 「検証済み」という偽の過去の経験を記憶ストアに注入する。
• 多数決に基づく既存の防御メカニズム（A-MemGuardなど）を逆手に取る。
• 電子カルテ検証やオンラインショッピングなど、安全確認が重要なタスクで高い成功率を示す。
• 提案された防御策SENTINELは、記憶への書き込み段階で汚染を検知・阻止する。