DeepSeek V4 Flash Vision-Exp を DGX Spark 2 台で動かす

NVIDIA DGX Spark 2台にDeepSeek V4 Flash Vision-Expモデルを分散推論でデプロイした手順をまとめた記事。200Gbpsネットワーク接続、Tensor Parallelism=2の設定、および関連リソースの活用方法について詳述する。

• NVIDIA DGX Spark 2台を200Gbps QSFPで直結し、DeepSeek V4 Flash Vision-Expモデルを分散推論（Tensor Parallelism = 2）でデプロイした。
• 使用したモデルは、ネイティブ画像理解、投機的デコード（DSpark）、100万トークンコンテキスト対応といった特徴を持つ。
• 構築手順は、ノード間接続と認証、モデルキャッシュの準備（約168GB × 2台）、`.env.dspark`ファイルの設定が含まれる。
• モデルキャッシュの準備は、`prepare-dspark-model-cache.sh`スクリプトを使い、`--official`オプションでオリジナル重みを取得し、ヘッドとワーカーの両方に構築する。
• `.env.dspark`ファイルでは、ConnectX-7（RoCEv2）ネットワーク環境に合わせたIPアドレスやSSH設定などを行う必要がある。