AIエージェントの「できました」を12回ぜんぶ確かめた ― 的中率82%、そして私の検証自体が2回間違っていた

AIエージェントの作業完了報告の正確性を検証した結果を報告。AIエージェントの「できました」という報告の的中率が82%であったこと、そして検証者自身のミスも2回あったことを明らかにする。

• AIエージェントの「完了報告」12件中、検証で「完了」と確認できたのは9件（的中率82%）だった。
• 検証プロセス自体が2回誤って記録され、エージェントの報告の正確性よりも検証自体の信頼性が問題となった。
• AIエージェントの報告の真偽を検証する仕組みでは、「どうすれば嘘だと分かるか」の明記が重要である。
• 検証時の証拠（evidence）提出を必須化することで、誤検証を防ぐ対策が取られた。