#バイアス1件

[5870] 大規模言語モデルのオープンエンド評価の再評価

本研究では、LLMの評価におけるEloレーティングシステムの限界と、データ内のバイアスを増幅する可能性を指摘しています。特に、オープ​​ンエンドな評価システムにおいて、冗長性への感度が高いEloシステムは、意図的または偶発的なバイアスを強化する可能性があります。