Databricks AI/BI Genie の Benchmark 機能を試す — Agent モード 0% → 100% への改善ループ

DatabricksのAI/BI Genieに搭載されているBenchmark機能について、Agentモードにおける精度向上のループを検証しています。自然言語による質問応答の精度を定量的に測定するため、テスト質問セットを作成し、Genieが生成したSQLの結果と正解を比較評価するプロセスを解説しています。

• Databricks AI/BI GenieのBenchmark機能について解説されている。
• Agentモードでは0%、Chatモードでは100%の精度という結果が示された。
• 改善ワークフローによりAgentモードも段階的に100%へ改善可能である。
• AgentモードとChatモードの評価方法の違いが精度に影響する。