ハードウェア初出 7/9 02:49
100Gスイッチ、330kコンテキスト、約25 t/s tg、約650 t/s ppで4xGB10上でGLM 5.2を実行
Running GLM 5.2 on 4xGB10 with a 100G Switch, 330k ctx, ~25 t/s tg, ~650 t/s pp
https://www.reddit.com/r/LocalLLaMA/.rss2026/7/9
AI要約
4つのGB10 GPUと100Gスイッチを使用し、GLM 5.2モデルを330kコンテキスト長で実行した際のパフォーマンス測定結果。約25 t/sのトークン生成速度と、約650 t/sのプロンプト処理速度を報告しており、高性能ハードウェア上での大規模モデルの実行能力を示しています。
AI要点
- 4つのGB10 GPUと100Gスイッチを用いて、GLM 5.2モデルが実行された。
- 330kという非常に長いコンテキスト長での処理が行われた。
- 約25 t/sのトークン生成速度(tg)と、約650 t/sのプロンプト処理速度(pp)が報告されている。
- 高性能ハードウェア環境下での大規模モデルの実行能力を示している。
なぜ重要か
高性能ハードウェア上で大規模モデルを長コンテキストで実行し、具体的な処理速度を測定した結果は、最先端LLMの性能限界と将来的な応用可能性を示す指標となり、ハードウェアとソフトウェアの進化を促進するため重要である。