MetroLLM-Bench: 自然言語処理モデルを交通案内キオスクの実行環境として評価する

MetroLLM-Benchは、言語モデルを交通キオスクのポリシーレイヤーとしてテストするための955ケースのベンチマーク。6つの実際の地下鉄システムと、ルーティング、運賃計算、障害、アクセシビリティなど11のカテゴリをカバー。モデルは構造化ツールを呼び出し、結果を含むターミナル状態を提出する必要がある。

• 交通案内キオスクのポリシーレイヤーとして、自然言語処理モデル（LLM）を評価するためのベンチマーク「MetroLLM-Bench」を開発した。
• 実際の6つの地下鉄システムを対象に、ルーティング、運賃、障害、アクセシビリティなど11カテゴリを網羅する955ケースで構成されている。
• モデルは構造化ツールを呼び出し、最終的なターミナル状態を提出することが求められる。
• 公共交通機関におけるLLMの対話型エージェントとしての実用性を評価する指標を提供する。