LLM推論初出 9/10 05:30
NVIDIA GB300 NVL72でConfigurable Reasoningを持つ2.4TパラメータモデルQwen3.8-2.4T-A95Bを提供する
Serve Qwen3.8-2.4T-A95B, a 2.4T-Parameter Model, with Configurable Reasoning on NVIDIA GB300 NVL72
https://developer.nvidia.com/blog/feed/2026/9/10
AI要約
Alibabaの2.4兆パラメータモデルQwen3.8-2.4T-A95BをNVIDIA GB300 NVL72で動作させる方法について。設定可能な推論能力を持つ、オープンウェイトモデルの活用法を解説しています。
AI要点
- Alibabaは、2.4兆パラメータを持つオープンウェイトモデルQwen3.8-2.4T-A95Bの公開ウェイトをリリースした。
- このモデルは、トークンあたり950億アクティブパラメータ、最大100万トークンのコンテキストウィンドウを持つ。
- NVIDIA GB300 NVL72上で、FP8精度で毎秒4,000トークン超、ユーザーあたり350トークン超のスループットを達成している。
- NVIDIA NeMo AutoModelによるファインチューニングや、NVIDIA NIMコンテナによるデプロイメントがサポートされる。
なぜ重要か
Qwen3.8-2.4T-A95Bモデルの公開は、大規模で高性能なオープンソースAIモデルへのアクセスを民主化し、複雑な推論やエージェント型ワークロードの開発を加速させる。