LLM推論重要度 ★10
LLMをノイズチャネルとして捉える: モデル容量とスケーリング則に関するシャノン理論的視点
LLMs as Noisy Channels: A Shannon Perspective on Model Capacity and Scaling Laws
https://export.arxiv.org/api/query·2026/5/22
AI要約
LLMのスケーリング則をシャノン・ハートレーの定理に基づいた「シャノン・スケーリング則」で統一的に説明。過学習や量子化による性能低下など、既存のべき乗則では説明できない現象を解明する。
AI要点
- LLMの学習をシャノン理論のノイズチャネルとしてモデル化する「シャノン・スケーリング則」を提案。
- モデル容量と学習データ量をチャネル帯域幅と信号電力に対応付け、ノイズとの相互作用を捉える。
- モデルサイズやデータ量をSNR維持せずにスケールすると、性能がU字型に悪化する根本的なシャノン容量が存在。
- PythiaとOLMo2での実験により、従来の法則より優れた予測性能と、ロスの極小値の正確な捕捉を確認。
- 既存のスケーリング則では説明できない、計算量増加に伴う性能低下（破滅的過学習、量子化劣化）を説明可能。
なぜ重要か
LLMのスケーリング則に情報理論的基盤を与えることで、性能限界の理論的理解を深め、破滅的過学習や量子化劣化といった現象の予測と回避に貢献する可能性を秘めている。