2.8Tパラメータの Kimi K3 を、RTX 6000 PRO搭載ワークステーションで動かす

2.8兆パラメータを持つ大規模言語モデル「Kimi K3」を、NVIDIA RTX 6000 PRO搭載のワークステーションで動作させる試みについて報告しています。DGX Sparkではなく、汎用的なdGPUワークステーションでの大規模モデル実行可能性を探求しています。

• 2.8兆パラメータのLLM「Kimi K3」を、96GB VRAM搭載のdGPUワークステーションで動作させることに成功しました。
• ディスク帯域が半分にも関わらず、最良条件ではDGX Sparkの3.63倍の速度（2.540 tok/s）を記録しました。
• VRAM側のExpertキャッシュ無効化や統合メモリ扱いでは、DGX Sparkと同等の速度（0.67〜0.74 tok/s）になりました。
• 現実的な利用においては、ディスクからの読み込みにより生成速度は0.46〜0.67 tok/sまで低下し、現時点では実用に耐える速度ではありません。