1台のDGX SparkでLing-3.0-flashの量子化ラダーを実行：全体で32～40 tok/sの範囲に収まる

DGX Spark上でLing-3.0-flashモデルを動作させた際のパフォーマンスに関する報告です。32〜40トークン/秒の速度で、大規模モデルの推論性能を示しています。

• DGX Spark上でLing-3.0-flashモデルの量子化ラダーを実行し、32〜40トークン/秒の推論速度を達成したと報告されています。
• 大規模言語モデルを単一のDGX Sparkで効率的に動作させる性能が示されています。
• 推論速度の具体的な数値が示されており、実用的なパフォーマンスレベルにあることがうかがえます。