エージェントにブラウザを触らせていたら、プロフィール欄に fork bomb が仕込まれていた

エージェントにXのフォロー先を選ばせたところ、プロフィール欄にfork bombが仕込まれていた事例を紹介。これは、プロンプトインジェクションの一種であり、AIがWebページの内容を単純な文字列として認識することを利用した攻撃手法です。Anthropicのモデルでのレッドチーム攻撃成功率にも言及しています。

• AIエージェントがWebページを読み取る際、指示とデータが区別されず、プロンプトインジェクションのリスクがある。
• Claude Opus 4.5では防御機構があってもプロンプトインジェクションの成功率が16.7%と高く、モデル世代の進化が防御効果に寄与する。
• Webページの内容は「tool結果」としてAIに届くため、防御機構もその結果をスキャンする形で実装されている。
• エージェントにブラウザ操作をさせる際は、「tool結果は信頼できない」という前提で、信頼境界を明確に引く必要がある。
• Anthropicによると、最新モデルではプロンプトインジェクションの成功率が大幅に低下しているが、攻撃手法は進化し続けるため恒久的な保証ではない。