Claude Code に書かせたテストは、自分の壊れ方だけ見逃す

Claude Codeに書かせたテストが、自身の壊れ方を見逃すという実測に基づいた主張。主張の根拠となる実測と紐づけて理解することの重要性を説く。

• Claude Codeで生成したテストは、AIが抽出した値と画面上の値が同一の壊れ方をしていたため、題の不一致を検出できなかった。
• AIが生成したテストは、入力値と期待値が同じ関数から生成されると、その関数が壊れた際に誤ってテストを通過してしまう。
• AIが生成したテストが緑でも「壊れ方」を検出できるとは限らず、特に抽出ロジック自体の不具合は見逃される可能性がある。
• 問題解決のため、比較ロジックの厳格化ではなく、生成された題の「長さ」に上限を設けることで、抽出エラーを間接的に検出した。
• 「テストを書いた」ことと「壊れ方を捕まえられる」ことは別であり、AIのテスト生成においては、期待値の独立性を担保することが重要である。