Arena Eloの解説：LMArena Chatbotランキングの仕組み

Chatbot Arena Eloは、人間の好意によるブラインドな対戦投票に基づいたAIモデルのランキングシステムです。ユーザーがプロンプトを入力し、2つの匿名モデルが応答し、ユーザーがより優れた応答を選択します。結果はチェスプレイヤーのランキングに使用されるEloレーティングシステムにフィードされます。このシステムは、ベンチマークでは捉えられない、モデルの使用感を捉えるため、最も影響力のあるAI評価方法の1つとなっています。現在のトップモデルは1400〜1440の範囲にあり、1350以上のスコアは一般的なチャットで競争力があると見なされます。Eloレーティングは進化しており、新しいモデルの登場やユーザー層の変化によって変動します。