Tag
[5870] 大規模言語モデルのオープンエンド評価の再評価
本研究では、LLMの評価におけるEloレーティングシステムの限界と、データ内のバイアスを増幅する可能性を指摘しています。特に、オープンエンドな評価システムにおいて、冗長性への感度が高いEloシステムは、意図的または偶発的なバイアスを強化する可能性があります。