Manifold Power Iteration による Mixture-of-Experts ルーターの再設計

Mixture-of-Experts (MoE) モデルのルーター設計に焦点を当て、Manifold Power Iterationを用いてルーターの性能を向上させる手法を提案。ルーター行がエキスパート情報を効果的に凝縮し、トークンとエキスパートの親和性をより良く反映できるようにする。

• Mixture-of-Experts (MoE) モデルのルーターを再設計する手法「Manifold Power Iteration (MPI)」が提案された。
• ルーターの各行を、対応するエキスパートの主特異方向（最も表現力の高い数学的記述）に一致させる。
• 「Power-then-Retract」パラダイムを採用し、パワーイテレーション後にノルム制約を課すことで、効率と安定性を確保する。
• 1Bから11BパラメータのMoEモデルでの実験により、このアライメントがより効果的なMoEモデルを促進することが確認された。