AIは指示に従わなかった。でも攻撃者の文章は llms.txt に残った

自作のSEO診断ツールが、攻撃者の指示に従って悪意のあるコードを生成しかねない脆弱性を抱えていた問題について解説。攻撃の再現と対策までの記録を共有する。

• 自作のSEO診断ツールに、攻撃者の指示に従い悪意のあるコードを生成しかねない脆弱性が存在した。
• 攻撃者は、SEO診断ツールが悪意のある指示をAIに実行させるよう誘導した。
• この脆弱性は、AIがユーザーの指示を無条件に実行してしまうリスクを示している。
• 攻撃の再現と対策までの記録が共有されており、AIの安全な利用に関する教訓を提供する。
• AIが生成するコードの潜在的な危険性と、その検証・防御策の必要性が示されている。