Vertex AI Gen AI Evaluation Serviceで3段階の回答を比較する

Vertex AIのGen AI Evaluation Serviceを用いて、生成AIの3段階の回答品質を比較評価する手法を解説。正しい回答、不完全な回答、誤答を用意し、GENERAL_QUALITYスコアが意図した順序になるか検証するプロセスを説明。

• Vertex AI Gen AI Evaluation Serviceを使用し、生成AIの回答品質を3段階（正解、不完全、誤答）で比較評価した。
• プロンプトごとに合格条件を作成する適応型ルーブリックを用い、GENERAL_QUALITYスコアが期待通りの順序になるか検証した。
• バックアップ、障害通知、環境変更申請に関する3つの質問を用意し、それぞれに3種類の回答を作成して評価した。
• 評価APIの実測前に、検証条件、APIへの入力内容、返り値の保存方法をまとめた。