Cursor、MoEトレーニングのボトルネックを41%削減するカーネルをオープンソース化

Cursorが、MoE（Mixture-of-Experts）モデルの学習ボトルネックを41%削減するCUDAメガカーネル「Mixture-of-Kittens（MoK）」をオープンソース化しました。これにより、特定の大規模モデルの学習効率が向上します。

• CursorがMoE（Mixture-of-Experts）モデルのトレーニングボトルネックを41%削減するCUDAカーネル「Mixture-of-Kittens（MoK）」をオープンソース化した。
• MoKは、Nvidia GB300 NVL72システム向けに、MoEの計算と通信を単一カーネルに統合する。
• これにより、トレーニングスループットが向上し、End-to-endのトレーニング時間が短縮される。
• DeepSeekスタイルのMoEモデルをトレーニングする研究機関や企業が利用可能となる。