VAKRA：ツール使用ポリシー下でのAPIとRetrievalを横断するマルチホップ推論の評価

VAKRA: Evaluating Multi-Hop Reasoning Across APIs and Retrieval Under Tool-Use Policies

https://export.arxiv.org/api/query·2026/8/12

AI要約

企業環境で展開されるエージェントは、APIと文書コレクションを横断して推論する必要がありますが、既存のベンチマークはこれらの能力を個別に評価しています。本研究では、APIと知識検索を評価するベンチマーク「VAKRA」を導入します。

AI要点

APIと文書検索を横断するマルチホップ推論を評価するための新しいベンチマーク「VAKRA」が提案されました。
VAKRAは、62ドメインにわたる8,000以上のAPIと、多様なAPIインタラクション、マルチホップ推論、ツール使用ポリシー制約を含むタスクを網羅しています。
最先端のモデルでも、単一段階のタスクで70.4%、推論深度が増すと性能が大幅に低下し、ポリシー制約下では特に顕著な失敗が見られました。
分析の結果、失敗はツール呼び出しメカニズムではなく、言語を介した推論（エンティティ曖昧性解消、クロスソースグラウンディング）に集中していました。

なぜ重要か

VAKRAベンチマークは、エージェントがAPIと知識ソースを組み合わせて複雑なタスクを実行する能力を評価する上で重要な進展であり、現在のLLMの限界を特定し、将来の研究開発の方向性を示唆しています。