#LLM-as-a-judge2件

[5533] 不確かな判断から調整されたランキングへ：LLM評価のためのConformal Elo推定

本論文では、LLM評価におけるEloレーティングの精度向上に焦点を当て、LLM-as-a-judgeによる評価の不確実性とバイアスに対処する手法を提案している。ローカルレベルでは、勝率を直接Elo推定に組み込むことで、評価ごとの不確実性を考慮し、人間による評価との誤差を17.9 Elo MAEまで低減させた。

[5682] 不確かな判断から調整済みランキングへ：LLM評価のためのConformal Elo Estimation

本論文では、LLM-as-a-judgeによる評価における不確実性とバイアスを軽減するためのConformal Elo Estimation手法を提案する。ローカルレベルでは、判断の勝率を確率的に扱い、Elo推定の精度を大幅に向上させる。