AIの答えをAIに採点させる——安いモデルで高いモデルを見張れるか

AIエージェントの出力を別のAI（安いモデル）で検証する「AIがAIを採点する」手法について考察。コストを抑えつつAIの検収を行う可能性を探るため、ローカルLLMを用いた実測検証を行い、その有効性を検討している。

• 低コストなGemma3(12B)は、出力のMAEが最も小さかったが、これは採点のばらつきが少なく、優秀さを示唆するものではなかった。
• Gemma3(12B)は、滋賀県の県庁所在地を「彦根」と誤答する事実誤認を見逃し、満点評価を付けるなど、知識を要する失敗検出能力が低いことが判明した。
• GPT-OSS(20B)は、順位相関が0.551と最も高く、事実誤認を含む明白な失敗の検出率も2/2と高かったため、より信頼性の高い採点者として機能した。
• AIモデルは、自身や同系統のモデルの出力を甘く採点するバイアスがあり、検収には異系列のモデルを使用することが推奨される。
• 低コストモデルは「一次スクリーニング」に、より高性能なモデルは「本検収」に用いる二段構えの検収プロセスが効果的であると提案されている。