LLM推論初出 9/11 02:57
データ不足とモデル疎性：Mixtures-of-Expertsは繰り返しデータに過学習しやすい
Data Scarcity and Model Sparsity: Mixtures-of-Experts Overfit More to Repeated Data
https://export.arxiv.org/api/query·2026/9/10
AI要約
データ不足とモデルのスパース性に注目し、Mixture-of-Experts（MoE）モデルにおけるデータ繰り返しが過学習に与える影響を調査します。計算効率の高いMoEアーキテクチャでデータ繰り返しを検討することは、大規模言語モデルの効率的な訓練に不可欠であり、特にデータが限られる状況での性能向上が期待されます。