LLM推論初出 6/25 02:59
サンプリングされたデモンストレーションによるOn-Policy Self-Distillationは出力多様性を低下させる
On-Policy Self-Distillation with Sampled Demonstrations Reduces Output Diversity
https://export.arxiv.org/api/query2026/6/25
AI要約
On-policy self-distillationが、デモンストレーションを利用することで高い精度を達成する一方、出力の多様性を低下させる可能性を指摘。この多様性低下の原因を、サンプリングされたデモンストレーションを用いた自己蒸留の設計に起因するバイアスの蓄積と分析する。
AI要点
- On-policy self-distillationが、デモンストレーション利用時に出力多様性を低下させる可能性が指摘された。
- 多様性低下の原因は、サンプリングされたデモンストレーションを用いた自己蒸留の設計に起因するバイアスの蓄積にあると分析された。
- 高い精度は達成するものの、生成される出力が単調になる傾向がある。
- 自己蒸留手法の改善点を示唆している。
なぜ重要か
On-policy self-distillationにおいて、デモンストレーションの利用がモデルの出力多様性を損なうメカニズムを解明し、精度と多様性の両立を目指すための手法改善の方向性を示す。