自作のAIチェックツールに、自分自身を審査させたら穴が見つかった話

自作のAIチェックツールに自身を審査させたところ、根拠が不十分な主張や外部との連携が欠如しているという脆弱性が見つかった事例です。AIエージェントの自己検証の重要性を示唆しています。

• AIエージェント運用で頻発する、主張が具体と抽象のどちらかに偏る、または外部検証を経ずに完結する「壊れ方」を発見した。
• これらの問題を「主張を書き終える前に必ず通す2つの問い（Gate 1: 高度チェック、Gate 2: 外部参照チェック）」として最小化するツール（Skill）を開発した。
• 開発したツールの新規性について、自身がGate 2（外部参照）を通していなかったことを確認し、既存ツールの存在を認識してREADMEを修正した。
• 既存のcitation-grounding系ツールとの違いとして、2つのゲートを組み合わせた点と、事前の自己チェックとして設計した点を挙げている。
• プロダクト開発ブログで定番の「自社ドッグフーディングによる欠陥発見と修正」という構成で記事を執筆した。