#ペアワイズ比較1件

大規模言語モデルによるスケーラブルで信頼性の高い自動評価に向けて

本研究は、大規模言語モデル（LLM）の生成するテキストの品質と関連性を評価するための、専門家レベルの評価を近似する新しいフレームワークを提案する。複数のLLMによる出力のペアワイズ比較と、安定した解釈可能なランキングを生成するためのEloレーティングシステムを導入することで、既存の自動評価指標の限界を克服し、リソース集約的な人間の評価の必要性を大幅に削減することを目指す。この手法は、科学論文の要約から抽出された能力プロファイルを評価する際に、専門家の判断と相関の高いランキングを生成することを示唆している。