LLM推論初出 8/5 02:59
WorldCup Arena: ライブトーナメントにおける最先端LLMの予期的、漏洩防止評価
WorldCup Arena: Prospective, Leakage-Free Evaluation of Frontier LLMs on a Live Tournament
https://export.arxiv.org/api/query·2026/8/4
AI要約
WorldCup Arenaは、将来の出来事に対するLLMの予測能力を評価するための、リアルタイムなトーナメント形式のベンチマークである。過去の出来事ではなく、進行中のFIFAワールドカップの試合結果をリアルタイムで予測させることで、暗記による評価を排除し、LLMの真の予測能力を測定する。
AI要点
- 2026年FIFAワールドカップで6つの最先端LLMを対象に、試合開始前に予測カードを記入させる評価を実施した。
- 予測は漏洩防止のため、結果が存在しない状態で行われ、4,494件の予測結果が記録された。
- LLMは試合結果予測で63.9%の精度を示し、ブックメーカーのオッズ支持と同程度であった。
- LLM同士の一致率は高さが、正答率の高さに必ずしも繋がらず、多数決に意味はなかった。
- 現在の最先端LLMは、このタスクにおいて明確な差が見られなかった。
なぜ重要か
LLMの予測能力を、結果が確定していないリアルタイムのイベントで評価することで、過去データへの過学習（記憶）の影響を排除し、真の汎化能力を測る新しい評価手法を提案している点が重要である。