Amazon Bedrock Agent Evaluations を試してみた

Web APIとは異なり、テストが難しいAIエージェントの評価手法について解説。Amazon Bedrock AgentCore Evaluationsを利用し、毎回応答が変化するエージェントの評価を効率化する試みを報告。手動での確認作業の限界と、自動評価の必要性を説く。

• Amazon Bedrock Agent Evaluationsは、LLMをジャッジとして使用し、AIエージェントの応答品質をスコアリングするサービスである。
• 組み込み評価者（Builtin.Helpfulnessなど）を利用することで、評価プロンプトを自作せずに、応答の正確性、有用性などを評価できる。
• 評価は、会話セッション全体、特定のターン、ツール呼び出しといった複数の粒度で実行可能である。
• オンライン、オンデマンド、バッチ評価モードが提供され、開発ライフサイクルの様々な段階でエージェントの品質を検証できる。
• カスタム評価者も利用可能だが、本記事では主に組み込み評価者を用いた評価方法と料金体系に焦点を当てている。