BenchMIRT：LLMベンチマークは何を測定しているのか？

BenchMIRTは、LLMのベンチマークが実際に何を測定しているのかを分析する。LLMの能力は、単一のベンチマークスコアではなく、複数の側面から評価されるべきだと主張している。モデルの多様な能力を理解し、より適切な評価方法を模索することの重要性を示唆している。

• LLMベンチマークの測定内容を個々のプロンプトレベルで監査する手法「BenchMIRT」を提案。
• BenchMIRTは、単一のベンチマークスコアに隠された複数の能力（安全性、推論能力など）を分離する。
• Item Response Theory（IRT）を応用し、多次元的なMIRTを用いることで、質問への回答能力を多角的に分析する。
• これにより、ベンチマークスコアの変動要因を正確に把握し、LLMの真の能力を評価できる。