LLM推論初出 8/8 02:55
CreativeInstruct: 品質、創造性、多様性のバランスをとるようLLMにスケーラブルに教える
CreativeInstruct: Scalably Teaching LLMs to Balance Quality, Creativity, and Diversity
https://export.arxiv.org/api/query·2026/8/7
AI要約
LLMのファインチューニングは能力向上と引き換えに多様性・創造性を低下させる。本研究では、品質・創造性・多様性のバランスを学習させるCreativeInstructを提案し、指示チューニングによってこれを解決する。
AI要点
- LLMの創造性と品質のバランスを取るための「CreativeInstruct」という手法を提案しています。
- 「[StartCreativity]」という特殊なスパンを注入することで、創造的な生成を促します。
- 物語生成タスクにおいて、質を犠牲にせずに既存手法と同等以上の多様性を実現しました。
- 人間による評価では、70.3%のケースでCreativeInstruct生成物の方が創造的と評価されました。
- RL（強化学習）の基盤としても効果があり、AMCで約4%、MATHで約5%の改善が見られました。
なぜ重要か
LLMが生成するコンテンツの質、創造性、多様性のバランスをスケーラブルに調整する手法を提供し、物語生成などの創造性が求められるタスクや、RLにおける性能向上に貢献する可能性があります。