Perspective APIに別れ：NLP、CSS、LLM評価における計測インフラの教訓

Perspective APIの廃止とその教訓について論じています。NLP、CSS、LLM評価における測定インフラストラクチャの重要性を示唆しています。特にLLM評価における将来のインフラ構築への示唆に富む内容です。

• Perspective APIが2026年末でサービス終了し、毒性測定のデファクトスタンダードが失われる。
• 研究分野は、自身で管理・統治できる測定インフラを構築する必要があるという教訓が得られた。
• Perspective APIへの依存は、主張の限界を超えた利用、モデル更新による結果の変動、説明不能な差異などを招いた。
• LLM開発ライフサイクル全体でPerspective APIがラベル付けや評価に利用され、エラーを捕捉せず誤りを助長した。
• 研究コミュニティのために、77のデータセットから590万件のテキストスニペットに対するPerspectiveスコアを公開する。