ニューロン集団はスケールに伴い多様な選択性を示す

大規模言語モデルのスケールアップに伴うニューロン集団の選択性の変化を調査。損失だけでなく、より微視的な観点からのスケーリング則を検証し、モデルの内部構造の進化を理解することを目指す。