Tag
[5533] 不確かな判断から調整されたランキングへ：LLM評価のためのConformal Elo推定
本論文では、LLM評価におけるEloレーティングの精度向上に焦点を当て、LLM-as-a-judgeによる評価の不確実性とバイアスに対処する手法を提案している。ローカルレベルでは、勝率を直接Elo推定に組み込むことで、評価ごとの不確実性を考慮し、人間による評価との誤差を17.9 Elo MAEまで低減させた。