AIエージェントの暴走は「指示」では止まらない — 権限モデルから設計する4つの境界

AIエージェントの暴走を防ぐためには、プロンプトによる禁止事項ではなく、実行層での権限管理が重要である。ファイルシステム、ネットワーク、認証情報、高影響操作の4つの境界設定によって、AIエージェントの行動を安全に制御する手法を解説している。

• AIエージェントの暴走を防ぐためには、プロンプトでの禁止指示ではなく、実行層での権限管理が不可欠である。
• ファイルシステム、ネットワーク、認証情報、高影響操作の4つの側面で権限境界を設計し、エージェントのアクセス範囲を制限する必要がある。
• AIエージェントに読み取り専用モードでの起動や、作業ディレクトリの分離、到達先ドメインの制限などを適用する。
• 認証情報は必要最小限のスコープと有効期限で管理し、高影響操作（送信、決済、公開、削除）は自動実行から外す。
• AIエージェントが外部データを解釈する際に指示として扱われるリスクを考慮し、防御は実行権限の制限に置くべきである。