「テストが通った」でPRを作らせない

AIエージェントが生成するPR（プルリクエスト）において、「テストが通った」という報告だけでは不十分な場合があることを指摘。変更した機能の実行確認を必須とする運用を提案。

• AIエージェントがPRを作成する前に、テストだけでなく、変更した機能を実際に動かして動作確認を行うことを必須とした。
• テストが成功しても、利用者の実際の経路で機能しない問題を解決するため、AI自身が確認方法を選び実行するようにした。
• PR作成前の確認を「テストと機械チェック」「実挙動の確認」「diffのセルフレビュー」の3つに分け、それぞれ異なる証拠を確認させる。
• AIエージェントが参照するドキュメントを「何を必須とするか」「どう実行するか」「正確なコマンドは何か」の3つに分け、それぞれの真実源を1つに集約した。
• AIエージェントに「動いた証拠」まで用意させることで、テストの成功だけでは見えない潜在的な問題を排除し、PRの品質を向上させる。