LLM推論初出 7/28 02:57
オンポリシー拡散蒸留におけるClassifier-Free Guidanceの再考
Rethinking Classifier-Free Guidance in On-Policy Diffusion Distillation
https://export.arxiv.org/api/query2026/7/28
AI要約
拡散モデルのオンポリシー蒸留におけるClassifier-Free Guidance (CFG) の振る舞いを再検討。既存手法のCFG合成予測における速度マッチングの課題を指摘し、より識別性の高い学習目標を提案することで、蒸留の効率と精度を向上させる。
AI要点
- オンポリシー拡散蒸留(OPD)におけるClassifier-Free Guidance(CFG)の挙動は未解明であった。
- 既存手法では、教師と学生の誘導速度を単純に一致させていた。
- しかし、この単純な一致は「ネガティブブランチ非対称性(NBA)」と呼ばれる問題を引き起こし、学習を阻害することが判明した。
- NBAに対処するため、正方向予測とCFG条件付き方向を個別に制約する「Positive-Direction Matching(PDM)」を提案する。
- PDMにより、ビデオ制御タスクでより堅牢で効果的な知識転移が可能になることが示された。
なぜ重要か
本研究は、拡散モデルの学習手法であるOPDにおいて、CFG利用時の課題を特定し、それを克服する新しい目的関数PDMを提案した点に重要性がある。これにより、より効果的なモデル学習と応用が期待される。