ビジネス応用重要度 ★8
ExtractBench: スキーマ誘導型エンタープライズ文書抽出のためのベンチマーク
ExtractBench: A Benchmark for Schema-Guided Enterprise Document Extraction
https://export.arxiv.org/api/query·2026/7/31
AI要約
ExtractBenchは、スキーマ駆動型エンタープライズ文書抽出のためのベンチマークを提供する。文書とユーザー定義スキーマに基づき、エージェントが正確な出力を生成し、ソース証拠をメタデータとして付与する能力を評価する。値の正確性、レコードの網羅性、根拠、コストを統合的に測定する。
AI要点
- ExtractBenchは、スキーマ誘導型エンタープライズ文書抽出のための新しいベンチマークである。
- このベンチマークは、値の正確さ、記録の網羅性、グラウンディング、コストを同時に評価する。
- 評価データセットは370文書、4,869ページから構成され、多様なビジネスドメインと文書タイプをカバーする。
- 商用VLMは短文書に強いが長文書で記録リストを切り捨てる傾向があり、コーディングエージェントは高コスト。
- LlamaExtract Agentic Plusは、コーディングエージェント並みの精度を低コストで実現し、評価指標全てでトップランクとなった。
なぜ重要か
ExtractBenchは、エンタープライズ文書からの情報抽出タスクにおけるAIモデルの性能を客観的に評価するための標準を提供し、より実用的でコスト効率の高い抽出ソリューションの開発を推進する。