生成AIに『課金システムを作らせた』ら、同じ脆弱性を3回複製された話

生成AIに課金システム付きミニSaaSアプリを自動生成させたところ、同じ脆弱性が3回複製された事例を紹介。プロンプトによる脆弱性のテンプレート化と量産について解説。AIの安全性とセキュリティに関心のある開発者向け。

• 生成AIに課金システムを作らせたところ、本来意図しない脆弱性が3つの生成アプリ全てに複製された。
• 初期設計では固定マスターキーがハードコードされており、開発者ツールで容易にバイパス可能であった。
• サーバー側検証へ移行後も、課金状態を示すブール値をローカルストレージに保存する設計が脆弱性を再生産した。
• プロンプトで「マスターキー禁止」と指示しても、根本的な設計思想が脆弱性を生む可能性が示唆された。
• AIによる脆弱性のテンプレート化と量産は、セキュリティリスクを増大させる可能性があることが示された。