AIに品質を採点させるのをやめた話 — ブラウザFPSを26,000行書いて踏んだ「計測の4つの罠」

本記事は、AIに品質採点を任せることをやめた経験談を語っています。ブラウザFPS開発で直面した「計測の4つの罠」について、AI活用を含めたエンジニアリングの視点から考察しています。AIの限界や実務での活用方法について示唆に富む内容です。

• AIによるコード生成の品質採点は、採点基準が一定しないため時系列比較ができず、実態改善と逆の結果を示すことがある。
• AIが提示する数値は古いベースラインに基づいている可能性があり、実際の効果測定と乖離することがある。
• 固定した矩形領域のみで品質を比較すると、画面構成の変化により誤った評価を下す可能性がある。
• AIに品質を「採点」させるのではなく「欠陥の発見」に限定し、数値計測は自動計測に任せるべきである。
• AIによる品質評価は、実体改善に反して「悪化」という誤ったシグナルを送り、存在しない問題への対応を発生させる。