研究/論文

不確かな評価から校正されたランキングへ: LLM評価のためのConformal Elo推定

本研究は、LLMの評価における不確実な判断を、より校正されたランキングへと導くためのConformal Elo Estimation手法を提案する。LLM-as-a-judgeの評価における系統的誤差（位置バイアス、自己選好など）を、局所的（判断ごと）および大域的（モデルごと）なレベルで定量化する。