LLM推論★8· Elo Rating for LLMs [5360] 不確かな判断から校正されたランキングへ：LLM評価のためのConformal Elo Estimation
本研究は、LLMによる評価におけるEloレーティングの不確実性を定量化し、キャリブレーションされたランキングを提供するための「Soft-Elo」手法を提案する。LLMによるジャッジングのバイアスを軽減するために、個々のバトル結果の不確実性をローカルレベルで推定し、さらにモデル全体のEloレーティングのグローバルレベルでの不確実性を共形予測を用いて提供する。