クリーンなエンジニアリング、不安定な測定：共有エンドポイントにおけるブラックボックスLLMオブザーバーの事前登録された信頼性障害

LLMベースの評価者が、共有エンドポイントでの測定において信頼性の低い結果を生むことを実証。52,988回の試行で、同一モデルへの同一リクエストでもランキングの一致率が低く、測定器としての信頼性に問題があることを指摘。

• 共有エンドポイントにおけるブラックボックスLLMオブザーバーの信頼性に関する研究が発表された。
• 同一リクエストに対する応答の一貫性が低いという問題が、事前登録された評価で明らかになった。
• ラベルと意味のマッピングの偏り、候補ギャップの小ささ、入力が同じでも順位が異なるノイズなどが原因。
• モデル名が固定された楽器ではないと結論づけ、評価前に楽器自体の検証が必要だと指摘している。