Kimi K3、オープンウェイト：2.8兆のうち1040億がアクティブ

MoonshotがKimi K3の重みと47ページのレポートを公開しました。このモデルは2.8兆のパラメータのうち1040億がアクティブであり、MITライセンスの3つのオープンプロジェクトが含まれています。これは大規模言語モデルの性能とオープンソース化に関する重要な進展です。

• Kimi K3モデルの総パラメータ数は2.8兆に達するとされる。
• そのうちアクティブなパラメータは1040億であり、全体の約3.7%に相当する。
• 大規模言語モデルの効率的な利用方法や、リソース配分の最適化が課題となる。
• モデルの規模だけでなく、実際の利用効率が重要であることを示唆している。