#LLM evaluation5件

Arena Elo解説：LMArenaチャットボットランキングの仕組み

Chatbot Arena Eloは、ユーザーのブラインド投票に基づいてAIモデルのランキングシステムです。ユーザーがプロンプトを送信し、2つの匿名モデルが応答し、ユーザーがより良い応答を選択します。結果は、チェスで使用されるEloレーティングシステムにフィードされ、より強力な対戦相手に勝つことでレーティングがより多く上昇します。レーティングは約1200（旧モデル）から約1440（最先端モデル）の範囲です。Eloレーティングは、ベンチマークスコア（MMLU、GPQA、SWE-bench）が標準化されたタスクの正しさを測定するのに対し、モデルの使い心地を捉えるため、影響力のある評価方法となっています。

AIのブラックボックスを開く

AI監査は、AIシステムに直接アクセスせずに出力結果を調査・測定することで、その内部動作を理解する手法です。これにより、AIシステムが設計通りに機能しているか、設計に欠陥がないか、意図しない損害を生んでいないかなどを評価します。AI監査は、LLMやレコメンデーションシステムなどのAIが現実世界でどのように振る舞い、社会にどのような影響を与えるかを検証し、説明責任とバイアス特定を保証します。

[6851] 不確かな判断から調整されたランキングへ：LLM評価のためのConformal Elo推定

本論文では、LLM評価のためのConformal Elo Estimationという新しい手法を提案。Eloレーティングシステムを改良し、局所的・全体的なレベルでConformal Predictionを統合することで、大規模な人間によるアノテーションなしでも、不確実性境界を正確に示したElo推定値を提供する。

TextClass Benchmark: LLMの継続的なEloレーティングを社会科学で評価

TextClass Benchmarkプロジェクトは、社会科学分野のテキスト分類タスクにおけるLLMとTransformerの継続的かつ動的な評価システムを導入。カスタマイズされたEloレーティングシステムを採用し、新しいモデルやテストセットを定期的に取り込むことで、公平で最新のランキングを提供する。

[2836] Co-Scientistは、チェスプレイヤーのランキングで最もよく知られているEloレーティングという手法を用いて、生成した提案の質を評価できます。

AIシステムCo-Scientistは、チェスで有名なEloレーティングシステムを利用して、生成した提案の質を評価します。この手法により、新規性や影響力を評価でき、その自己評価は人間の専門家や他のLLMの評価とよく一致します。実際の創薬実験では有望な薬剤候補を特定し、専門医による検証を経て、科学的発見における実用性を示しました。