🔍 pytestを疑った次に、自分たちの視点を疑った。201件GREENを「初見のClaude Code」に監査させた話

pytestによるテスト強化と、Mutation Testingを用いたテストの盲点発見について。AI（Claude Code）にテストコードの監査を依頼し、見逃しを発見した事例を紹介。「pytestがGREENだから大丈夫」という前提を疑い、テストが本当に故障を見つけられるか検証する重要性を説いています。

• 201件のpytestがすべてグリーン（パス）であっても、テスト自体が脆弱である可能性を考慮する必要がある。
• Mutation Testingによって、作成したテストケースが実際にコードの変更を検知できるか検証した結果、盲点が見つかった。
• pytest作成側の「視点」や「思い込み」を疑うために、開発経緯を知らない第三者（Claude Code）にコードベースの監査を依頼した。
• Claude CodeにはRead-Only（リポジトリやGit、本番環境を変更しない）での全面監査を依頼し、修正は別工程とした。
• AIによる監査では、単にテスト結果のパス/フェイルだけでなく、「テストが何を守っているか」「守られていない箇所はどこか」といった深い分析を依頼することが重要である。