AIエージェントの評価（Eval）について考えてみた──ベンチマークが当てにならない理由

AIエージェントの評価（Eval）の重要性と、既存ベンチマークの限界について考察。SWE-bench、Terminal-benchなどの主要ベンチマークが何を測っているのか、公開スコアが実態を反映しない理由、そして実務での補完方法を解説。LLMの自律的な実行能力向上に伴う評価の必要性を説いています。

• AIエージェントの評価（Eval）において、公開されているベンチマークスコアは実力を正確に反映しない場合がある。
• SWE-bench、Terminal-bench、τ-benchなどの主要ベンチマークは、それぞれ異なる側面（コーディング、ターミナル操作、対話）を測定している。
• ベンチマークスコアの信頼性が低い理由として、訓練データ汚染、テストスイートの不備、LLMの確率的な挙動が挙げられる。
• AIエージェントの能力を正確に評価するには、単一のベンチマークスコアだけでなく、複数の評価軸と一貫性を考慮する必要がある。
• 実務でのAIエージェント評価は、ベンチマークに加えて、実際のユースケースに基づいた評価や、複数回の試行による一貫性の確認が重要となる。