MMLU-Pro: より堅牢で挑戦的なマルチタスク言語理解ベンチマーク

MMLU-Proは、既存のMMLUベンチマークの限界を克服するために開発された、より堅牢で挑戦的な多肢選択式言語理解ベンチマークです。問題数を12,000問以上に増やし、選択肢を4つから10個に拡張したことで、偶然正解する確率を大幅に低減させています。これにより、モデルの知識の記憶だけでなく、より深い推論能力を評価することが可能になりました。