LLM推論★8· Elo Rating for LLMs [6851] 不確かな判断から調整されたランキングへ：LLM評価のためのConformal Elo推定
本論文では、LLM評価のためのConformal Elo Estimationという新しい手法を提案。Eloレーティングシステムを改良し、局所的・全体的なレベルでConformal Predictionを統合することで、大規模な人間によるアノテーションなしでも、不確実性境界を正確に示したElo推定値を提供する。
研究/論文★8· Elo Rating for LLMs [6077] 不確かな評価から校正されたランキングへ: LLM評価のためのConformal Elo推定
本研究は、LLMの評価における不確実な判断を、より校正されたランキングへと導くためのConformal Elo Estimation手法を提案する。LLM-as-a-judgeの評価における系統的誤差（位置バイアス、自己選好など）を、局所的（判断ごと）および大域的（モデルごと）なレベルで定量化する。