LLMエージェントの評価をレイヤー化する: Google ADKの12指標を全部CIに乗せてはいけない理由

GoogleのAgent Development Kit（ADK）が提供する12のAIエージェント評価指標のうち、すべてをCIに組み込むことの非効率性を指摘しています。LLMエージェントの評価をレイヤー化し、実用的なアプローチを提案する内容です。

• Google ADKのLLMエージェント評価指標12種のうち、全てをCIに組み込むことには構造的な問題がある。
• レイテンシ、コスト、不安定さ（Flaky化）が、全指標をCIで実行する際の主な障壁となる。
• LLMエージェントの評価は、実行頻度と決定論性に基づいてレイヤー化（3層ピラミッド）することが提案されている。
• CIゲートでは、LLMを呼ばず決定論的なtool_trajectory_avg_score（ANY_ORDER）のみを使用することが推奨されている。