Negative Self-Distillation: 欠陥を回避して推論を学習する

オンポリシー自己蒸留(OPSD)は、LLMの自己改善に人気がありますが、複雑な推論タスクで性能を低下させる可能性があります。OPSDは、学生モデルに過度に自信のある推論を強制し、不確実性の表現や自己修正行動を抑制します。これを解決するため、本研究では「ネガティブ自己蒸留(NSD)」という新しいフレームワークを提案します。

• LLMの自己改善手法であるOn-Policy Self-Distillation (OPSD)が、複雑な推論タスクで性能を低下させる問題が指摘されている。
• OPSDは不確実性の表現を抑制し、自己修正行動を罰する可能性がある。
• Negative Self-Distillation (NSD)は、誤った推論から乖離することでLLMを最適化する新しいフレームワークである。
• NSDは、推論に重要なトークンのみを識別する動的なゲーティングメカニズムにより、言語能力を維持しつつ性能を向上させる。