Baseten、世界最速のGLM-5.2 APIを構築、推論の行方を解き明かすプレイブック

Basetenが、Zhipu AIのGLM-5.2モデルを毎秒593.7トークンで提供し、既存最速プロバイダーの12.8倍の速度を達成した。NVIDIA Blackwell上のNVFP4量子化などが最適化スタックとして用いられ、推論コンピューティング競争の行方とデプロイメント品質の重要性を示唆している。

• Basetenは、Zhipu AIのGLM-5.2モデルにおいて、毎秒593.7トークン（従来比約12.8倍）という高速なAPI提供を実現した。
• NVFP4量子化、NVIDIA Dynamoによるプリフィル・デコード分離、マルチトークン予測といった最適化技術が用いられている。
• 推論のパフォーマンスが、AIモデルの品質と同様に、プロダクションAIの成功を左右する重要な要因であることを示している。
• GLM-5.2は7530億パラメータを持ち、100万トークンのコンテキストウィンドウを持つとされる。