Qwen3.8-Flash-Next：397Bモデルに匹敵する6Bモデル

AlibabaのQwen3.8-Flash-Nextは、6Bのパラメータのみで397Bモデルに匹敵する性能を発揮。特にコーディングやエージェントのベンチマークで優位性を示した。そのアーキテクチャの仕組みについて解説されている。

• AlibabaのQwen3.8-Flash-Nextは、125Bパラメータモデルながら、アクティブなのは6Bパラメータのみである。
• 6Bパラメータで動作するにも関わらず、コーディングとエージェントのベンチマークで397Bモデルに匹敵する性能を示した。
• このモデルはQwen4で採用されるアーキテクチャのプレビュー版であり、ハイブリッドアテンション設計が特徴とされる。
• MoE (Mixture of Experts) アーキテクチャにより、トークンごとに一部の専門家ネットワークのみが活性化される。
• 標準的なSelf-Attentionはコンテキスト長に対して計算量が二次関数的に増加するが、このモデルはその課題に対処する。