AIにAIのコードを敵対的レビューさせたら6割叩き直された話 — 64億トークンのログが明かす『コンテキスト分離』の威力

AIに自身のコードをレビューさせたところ、6割が修正されたという事例を紹介。コンテキスト分離の重要性が示唆されている。AIエージェントによる自律開発におけるセルフチェックの限界と、その改善策を探る内容。

• AIにコードを書かせた後、コンテキストを隔離した別のAIに敵対的レビューを行わせる手法を分析した。
• 約64.4億トークンのログデータに基づくと、一発で合格したコードは20%に過ぎず、60%は修正指示が出された。
• 同じLLMモデルでも、コンテキストを遮断するだけで致命的なバグやセキュリティの穴を発見できた。
• デバッグコードの消し忘れや、リファクタリングによる関数本体の空洞化などのバグが発見された。