LLM推論重要度 ★10

[3379] 言語モデルには睡眠が必要：自己修正と記憶の統合を学習する

Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories

https://export.arxiv.org/api/query·2026/6/2

AI要約

人間のような「睡眠」メカニズムをLLMに導入し、長期記憶への知識定着と継続学習を可能にする手法を提案。時間的推論知識をパラメータに効果的に転移させることを目指す。

AI要点

言語モデルが継続的に学習し、短期記憶を長期パラメータに統合する「Sleep」パラダイムが提案された。
「Sleep」は、知識をより大きなネットワークに蒸留する「Memory Consolidation」と、追加の人間監督なしで自己改善を行う「Dreaming」の2段階から成る。
「Knowledge Seeding」として、オンポリシー蒸留と強化学習ベースの模倣学習を組み合わせた新しい一般化蒸留プロセスが導入された。
長期間にわたる継続学習、知識の取り込み、few-shot一般化タスクにおいて、「Sleep」ステージの重要性が実験で支持された。

なぜ重要か

この「Sleep」パラダイムは、言語モデルが継続的に学習し、経験から得た知識を効率的に記憶・統合する能力を獲得することを可能にする。これにより、モデルの陳腐化を防ぎ、長期的な性能向上と応用範囲の拡大が期待される。