LLM推論重要度 ★9
事前学習中の知識獲得：LLMは補助的ビューでより良く学習する
Knowledge Acquisition During Pre-training? Large Language Models Learn Better With Auxiliary Views
https://export.arxiv.org/api/query·2026/9/3
AI要約
LLMの事前学習における知識獲得メカニズムを調査。補助的なビュー（知識の言い換え）が学習に有益であることを実験で確認し、特にバッチサイズが小さい場合に効果的であることを示す。
AI要点
- 大規模言語モデル（LLM）が事前学習中に知識を獲得するメカニズムには未解明な点が多い。
- 本研究は、知識の再構成である「補助的ビュー」がLLMの学習に有効であることを主張し、実験により検証している。
- トークン予算が固定されている場合、文書の繰り返しを補助的ビューに割り当てることで、事実の想起能力も向上することが示された。
- 補助的ビューの効果は、知識生成元の教師モデルの性能に依存しないことが判明した。
- 補助的ビューは、既存知識のギャップを埋める「文脈的知識」と「基礎的知識」の学習を助けることが特定された。
なぜ重要か
LLMの事前学習における「補助的ビュー」の有効性を示した本研究は、データ多様性がLLMの成功に寄与する理由を説明する新たな視点を提供し、より効率的で効果的な知識獲得メカニズムの解明を通じて、LLMの性能向上に貢献する可能性を秘めているため重要である。