#不確実性定量化4件

[5533] 不確かな判断から調整されたランキングへ：LLM評価のためのConformal Elo推定

本論文では、LLM評価におけるEloレーティングの精度向上に焦点を当て、LLM-as-a-judgeによる評価の不確実性とバイアスに対処する手法を提案している。ローカルレベルでは、勝率を直接Elo推定に組み込むことで、評価ごとの不確実性を考慮し、人間による評価との誤差を17.9 Elo MAEまで低減させた。

[6077] 不確かな評価から校正されたランキングへ: LLM評価のためのConformal Elo推定

本研究は、LLMの評価における不確実な判断を、より校正されたランキングへと導くためのConformal Elo Estimation手法を提案する。LLM-as-a-judgeの評価における系統的誤差（位置バイアス、自己選好など）を、局所的（判断ごと）および大域的（モデルごと）なレベルで定量化する。

[5682] 不確かな判断から調整済みランキングへ：LLM評価のためのConformal Elo Estimation

本論文では、LLM-as-a-judgeによる評価における不確実性とバイアスを軽減するためのConformal Elo Estimation手法を提案する。ローカルレベルでは、判断の勝率を確率的に扱い、Elo推定の精度を大幅に向上させる。

[5360] 不確かな判断から校正されたランキングへ：LLM評価のためのConformal Elo Estimation

本研究は、LLMによる評価におけるEloレーティングの不確実性を定量化し、キャリブレーションされたランキングを提供するための「Soft-Elo」手法を提案する。LLMによるジャッジングのバイアスを軽減するために、個々のバトル結果の不確実性をローカルレベルで推定し、さらにモデル全体のEloレーティングのグローバルレベルでの不確実性を共形予測を用いて提供する。