ローカルLLMのベンチマークが全モデル満点を出した。それがこのプロジェクトで最も有用な失敗だった

ローカルLLMのベンチマークプロジェクトにおいて、全モデルが満点を出すという「最も有用な失敗」について解説。ローカルLLMの評価手法や、ベンチマーク結果の解釈に関する洞察を提供する。

• ローカルLLMのベンチマーク実施で、全モデルがほぼ満点という「壊れたベンチマーク」が判明した。
• 問題が易しすぎたため、モデル間の品質差を測れず、ジャッジ一致率も自明な結果となっていた。
• この失敗から、モデルの能力だけでなくVRAMやレイテンシなどの制約も考慮した選定プロトコルの重要性が示された。
• v2では問題セットを難化させ、モデル間の区別ができるように改良し、 nemotron-nano-9b-jp が gemma4-31b と同等の性能を示した。