124Bモデル、DGX Spark 1台で単一応答で15,128トークンを生成、デコード速度は全体で35.62 → 35.68 tok/s

124Bパラメータのモデルが、単一のDGX Spark上で15,128トークンを生成し、デコード速度も示されたという報告です。大規模モデルの推論性能に関する具体的なデータを提供しています。

• 124Bパラメータを持つ大規模モデルの性能に関する報告があった。
• 単一のDGX Spark上で15,128トークンを生成できた。
• デコード速度は35.68トークン/秒を記録した（以前は35.62トークン/秒）。
• 大規模モデルの推論における具体的な処理能力と速度が示された。
• ハードウェアリソースに対するモデルのパフォーマンスデータを提供する。