LLM推論初出 5/23 02:56
Complete-muE：MoEモデルのための最適なハイパーパラメータ転移とスケーリング
Complete-muE: Optimal Hyperparameter Transfer and Scaling for MoE Models
https://export.arxiv.org/api/query2026/5/23
AI要約
Complete-muEは、Transformerブロックにおける混合エキスパート(MoE)モデルのハイパーパラメータ転移とスケーリングのためのフレームワーク。密行列モデルからMoEへの転移やMoEエキスパートのスケーリングに対応する。