Qwen3.8-Flash-Nextがオープンソース化、DeepSeekのn-gramを再活性化

Qwen3.8-Flash-Nextがオープンソースで公開されました。1250億パラメータのMoEモデルで、DeepSeekのEngram論文から着想を得たN-gram Embeddingレイヤーが特徴です。

• AlibabaのQwenチームは、1250億パラメータのオープンウェイトモデル「Qwen3.8-Flash-Next」を公開した。
• このモデルは、DeepSeekの論文「Engram」で提案されたN-gram Embedding技術を大規模モデルに初めて導入している。
• N-gram Embeddingは、テキストのn個の単語の連続を特徴量として捉える技術で、モデルの性能向上に寄与するとされる。
• Qwen3.8-Flash-Nextは、MoE（Mixture of Experts）アーキテクチャを採用し、計算効率と性能を両立させている。
• オープンソース化により、研究者や開発者はこの先進的なモデルを自由に利用・改良できる。