推論速度: 6.4k トークン/秒
Qwen 3.6 27B のパンチ力: weight above its weight
Qwen 3.6 27B の実用性: practical job
Qwen 3.6 27B の反応性: reactive
KVキャッシュ量子化: q8/q6/q5/q4, KVarN, Turbo/TCQ
セットアップとパフォーマンス: 2つのRTX 3060 GPUで動作させると30-50 t/sのパフォーマンスを発揮
コスト: $400
V100s GPUでの推論速度: 1000 tps