Optimised DSv4-Flash for 2x GH200: SGLangで10,000 tok/s PP、300 tok/s TG超え

2基のGH200 GPU環境でSGLangを使用し、DeepSeek v4 Flashモデルを最適化した結果、10,000 tok/s (PP) および300 tok/s以上 (TG) の高いパフォーマンスを達成したことが報告されています。

• GH200 GPU 2基環境でSGLangを使用し、DeepSeek v4 Flashモデルを最適化した。
• 最適化されたモデルは、10,000 tok/s (PP) という高いパフォーマンスを達成した。
• さらに、300 tok/s (TG) を超える推論速度も確認された。
• GH200 GPU 2基でのSGLang活用によるモデル最適化の成功事例が示された。