ハードウェア初出 7/10 00:53
3×3090で132 t/sのNVIDIA Puzzle-75B-A9B NVFP4 — なぜこのサイズカテゴリは他に砂漠なのですか？
NVIDIA Puzzle-75B-A9B NVFP4 at 132 t/s on 3×3090 — Why is this size category a desert otherwise?
https://www.reddit.com/r/LocalLLaMA/.rss2026/7/10
AI要約
NVIDIA Puzzle-75B-A9B NVFP4を3つの3090 GPUで132T/sで実行する際のパフォーマンスに関する議論。特にこのサイズカテゴリのハードウェアの選択肢が少ない点に焦点を当てており、AI推論におけるハードウェアの選択と性能について考察しています。
AI要点
- 3つのNVIDIA 3090 GPUでNVIDIA Puzzle-75B-A9B NVFP4を132T/sで実行するパフォーマンスが示された。
- このサイズのAI推論ハードウェアの選択肢が少ない現状が指摘されている。
- 特定のハードウェア構成での高い推論性能が実現可能であることが示唆されている。
なぜ重要か
特定のAI推論ハードウェア構成における具体的なパフォーマンスデータを提供し、市場の選択肢の少なさという課題を浮き彫りにすることで、今後のハードウェア開発や選択における重要な示唆を与えるため。