LittleLearner：教育統制下の知識曝露による言語モデル

LITTLECURRICULUMは、初等教育レベルの教材に特化した大規模言語モデル(LLM)の事前学習コーパスである。このデータセットで学習させることで、知識やスキルの獲得過程をより詳細に分析することを可能にする。

• Webスケールのテキストコーパスで訓練された現代のLLMでは、知識やスキルの獲得過程を追跡することが困難である。
• 本研究では、小学校中学年までの教材に特化し、それ以上の概念や語彙を除外した「LITTLECURRICULUM」という事前学習コーパスを提案する。
• LITTLECURRICULUMで訓練されたLLM「LITTLELEARNER」は、明確な知識と能力の境界を持つ。
• LITTLELEARNERは、ポストトレーニングやIn-context learningによる知識注入に対して、既存知識の活用は向上するが、範囲外の能力は向上しない。
• この制御された環境は、モデルの知識獲得、表現、利用方法を研究するための有用なサンドボックスを提供する。