この休みの5日で、AIエージェント運用を1段上げる — 事故台帳57件から作った4層のカリキュラム

AIエージェント運用における事故台帳57件から、4つの構造的欠陥を発見。公式機能で防げたのは4件のみであり、残りの49件は4つの構造に分類されることを示し、エージェント運用の改善カリキュラムを提案する。

• AIエージェント運用開始から1年間で蓄積された57件の事故台帳を分析した結果、公式機能だけで防げたのは4件に過ぎなかった。
• 防げなかった事故の多くは、「許可制御が呼び出し可否しか見ない」「セッション内しか監視しない」といった構造的問題に起因していた。
• 文字列パターンによるコマンドブロックは、シェルの間接参照や多様な経路により迂回されやすく、実効性が低いことが判明した。
• 「実装した」と「効いている」は別であり、設定ミス等で機能が有効になっていないケースは、無防備より危険であると指摘されている。
• 事故の構造を4つの層（プロンプト、コンテキスト、ハーネス、ループ）に整理し、上の層ほど「人の目がない時間」が増えるため、対策が難しくなるとしている。