ざっくりわかる AI Agent（4）：評価——体重計がなければ、ダイエットもできない

AIエージェントの性能を「感覚」ではなく「データ」で評価することの重要性を説く。モデル、ツール、プロンプト選択といった日々の選択が、実際に改善に繋がっているかを検証するための「評価」の必要性を論じる。

• AIエージェント開発において、プロンプトやツールの変更が本当に改善に繋がったかを確認するため「評価」が不可欠である。
• 評価は、「モデル＋足場（Harness）」の組み合わせ全体を対象とし、ボトルネック特定に役立つ。
• モデル差し替え（model swap）により、ボトルネックがモデルにあるのか、足場にあるのかを切り分けることができる。
• 評価の科学的な原理は、比較実験とアブレーション実験、そして統計的有意性の確認である。
• 評価対象は成功率だけでなく、コスト、レイテンシ、ターン数、境界、罠も含むべきである。