LLM推論初出 8/26 02:58
FIDが隠すもの:生成評価における偏差の検出、ランキング、診断
What FID Hides: Detecting, Ranking, and Diagnosing Deviations in Generative Evaluation
https://export.arxiv.org/api/query2026/8/26
AI要約
FID/KIDといった既存の生成モデル評価指標の限界を指摘し、分布の違いを検出しランク付けする手法を提案。特に、FIDが捉えきれない分布のずれを特定し、より信頼性の高い評価を目指す。
AI要点
- 既存の生成モデル評価指標FID(Fréchet Inception Distance)は、分布の違いを捉えきれず、順位付けや診断に限界があることが指摘された。
- FIDは、モーメント制限により、視覚的に認識できない画像でも高いスコアを得てしまう場合がある。
- FIDとKIDは、分布の不均衡(モード崩壊)と過剰(過分散)の方向性を区別できない。
- 新しい診断指標「ZID」が提案され、ランキング、統計的有意性、分散の方向性を示す3つの出力を提供する。
- ZIDは、FIDが検出できない広範な分布のずれを検出し、その深刻度を評価できる。
なぜ重要か
ZIDは、生成モデルの評価において、FIDの限界を克服し、より正確で解釈可能な評価を可能にするため、モデル開発と選択の質を向上させる。