Tag
[5533] 不確かな判断から調整されたランキングへ：LLM評価のためのConformal Elo推定
本論文では、LLM評価におけるEloレーティングの精度向上に焦点を当て、LLM-as-a-judgeによる評価の不確実性とバイアスに対処する手法を提案している。ローカルレベルでは、勝率を直接Elo推定に組み込むことで、評価ごとの不確実性を考慮し、人間による評価との誤差を17.9 Elo MAEまで低減させた。
大規模言語モデルによるスケーラブルで信頼性の高い自動評価に向けて
本研究は、大規模言語モデル（LLM）の生成するテキストの品質と関連性を評価するための、専門家レベルの評価を近似する新しいフレームワークを提案する。複数のLLMによる出力のペアワイズ比較と、安定した解釈可能なランキングを生成するためのEloレーティングシステムを導入することで、既存の自動評価指標の限界を克服し、リソース集約的な人間の評価の必要性を大幅に削減することを目指す。この手法は、科学論文の要約から抽出された能力プロファイルを評価する際に、専門家の判断と相関の高いランキングを生成することを示唆している。
Google Gemini vs. GPT-4：詳細比較
LLMの進化に伴い、従来のベンチマークでは捉えきれない性能差を評価するため、チェスなどで用いられるEloレーティングシステムが注目されています。このシステムは、2つのモデルの応答を比較し、どちらが優れているかを評価することで、LLMに相対的なランキングを付与します。Eloレーティングは動的で継続的に更新されるため、モデルの進捗追跡や開発の指針として有用であり、LLM評価の重要な手法となっています。
[8301] LLM Benchmarks 2026: ジョブごとの最適なモデル
2026年のLLMベンチマークは、MMLUのような飽和した評価指標から、HumanEvalの汚染問題、SWE-Benchの依存性、そしてChatbot Arena Eloのような人間による好感度を反映する指標へと進化しています。
TextClass Benchmark：社会科学におけるLLMの継続的なEloレーティング
TextClass Benchmarkは、社会科学分野におけるテキスト分類タスクを対象としたLLMおよびTransformerの継続的かつ動的な評価を提供します。Eloレーティングシステムをカスタマイズして採用し、パフォーマンス指標と相対ランキングを提示します。
[6077] 不確かな評価から校正されたランキングへ: LLM評価のためのConformal Elo推定
本研究は、LLMの評価における不確実な判断を、より校正されたランキングへと導くためのConformal Elo Estimation手法を提案する。LLM-as-a-judgeの評価における系統的誤差（位置バイアス、自己選好など）を、局所的（判断ごと）および大域的（モデルごと）なレベルで定量化する。
[5870] 大規模言語モデルのオープンエンド評価の再評価
本研究では、LLMの評価におけるEloレーティングシステムの限界と、データ内のバイアスを増幅する可能性を指摘しています。特に、オープンエンドな評価システムにおいて、冗長性への感度が高いEloシステムは、意図的または偶発的なバイアスを強化する可能性があります。
[5682] 不確かな判断から調整済みランキングへ：LLM評価のためのConformal Elo Estimation
本論文では、LLM-as-a-judgeによる評価における不確実性とバイアスを軽減するためのConformal Elo Estimation手法を提案する。ローカルレベルでは、判断の勝率を確率的に扱い、Elo推定の精度を大幅に向上させる。
[5360] 不確かな判断から校正されたランキングへ：LLM評価のためのConformal Elo Estimation
本研究は、LLMによる評価におけるEloレーティングの不確実性を定量化し、キャリブレーションされたランキングを提供するための「Soft-Elo」手法を提案する。LLMによるジャッジングのバイアスを軽減するために、個々のバトル結果の不確実性をローカルレベルで推定し、さらにモデル全体のEloレーティングのグローバルレベルでの不確実性を共形予測を用いて提供する。
LLMベンチマークリーダーボード2026：コーディング、数学、推論、エージェント
CodeSOTAのLLMベンチマークリーダーボード2026は、大規模言語モデル（LLM）の性能を「LiveCodeBench Pro」などの最新ベンチマークを用いて評価・追跡する。Eloレーティングシステムは、特にコーディングタスクにおけるモデル間の相対的な強さを測るために活用されている。