AIレビューの「OK」はどこまで信じていいか、わざとバグを5個仕込んで測ってみた

AIによるコードレビューの信頼性を検証するため、意図的に5個のバグを仕込んだコードで実験を行った結果を報告する記事。本文の起草もAI（Claude）が行い、実験データと照合済みである。AIレビューの「OK」をどこまで信用できるか、コーディングエージェントを仕事で活用する筆者の視点から論じている。

• Claude CodeやCopilotなどのAIコードレビューの信頼性を検証するため、意図的にバグを仕込んだ記事で実験を行った。
• 「事実誤り」「主張の捏造」「言い過ぎ」「話の矛盾」「根拠の削除」といったバグを仕込み、AI審査がどう判定するかを観察した。
• AI審査役のうち、「根拠チェック係」のみが仕込んだバグの検出を期待されたが、結果は限定的だった。
• AI審査は、仕込んだバグの種類によっては、合否ラベルだけでは信頼性が低い場合があることが示唆された。
• AIがAIの成果物を判定する「LLM-as-judge」の甘さを、具体的な実験で検証する試みである。