MoEのVRAMディスクキャッシュがKimi 2.7をDGX Spark 1台で340 pp/s 9.6 tg/sにする

MoE（Mixture of Experts）モデルにおいて、VRAMをディスクキャッシュとして活用し、Kimi 2.7モデルを単一のDGX Sparkで高速に処理する手法について報告されています。効率的な推論技術に関する興味深い内容です。

• Mixture of Experts (MoE) モデルにおいて、VRAMをディスクキャッシュとして活用する手法が報告されている。
• この手法により、Kimi 2.7モデルを単一のDGX Sparkで高速に処理することが可能になる。
• 具体的な処理速度として340 pp/s、9.6 tg/sという性能が示されている。
• 効率的な推論技術に関する興味深い内容が報告されている。