スケーリング則はまだ生きているのか — LLMの伸びしろを、受験勉強で理解する

LLMの性能向上の限界と可能性を、スケーリング則を用いて解説。パラメータ数、データ量、計算量の3つの資源の掛け算で賢さが決まるという視点から、AIの今後の伸びしろについて考察しています。数式は1つに絞り、図解で分かりやすく説明。

• LLMの賢さはパラメータ数、データ量、計算量の掛け算で決まり、スケーリング則は依然有効。
• 「データ」と「物理（電力・チップ）」がLLMの成長における2つの主要な壁となっている。
• 事前学習（軸1）の伸びは鈍化したが、後訓練（軸2）と推論時計算（軸3）で成長が続いている。
• 「AIは頭打ち」は事前学習のみを見た話、「まだ伸びる」は複数軸を考慮した話と整理。
• AIニュースの解像度を高めるには、どの成長軸と壁の話かを理解することが重要。