Kimi K3、2.78兆パラメータを8GB RAMのCPUで実行

Kimi K3は2.78兆パラメータを持つ大規模言語モデルだが、8GBのRAMを搭載したCPU上で動作する。モデルの93%はNVMe SSDに保存され、効率的な実行が可能となっている。

• Kimi K3（2.78兆パラメータ）を8GB RAMのCPUで実行する技術が開発されました。
• モデルの大部分（93%）はNVMe SSD上に保存され、CPUで処理されます。
• 推論速度は遅く、1トークン生成に約32秒かかります。
• この技術は、大規模モデルの実行に必要なメモリ量を大幅に削減できる可能性を示しています。