Qwen 3.6 27Bの量子化はペリカンを破壊するか？

Qwen 3.6 27Bの量子化モデルの性能をUnslothを使用してHugging Face上で検証した。Pelicans on bikes, Terminal-Bench 2.1, AIME-120といったベンチマークで評価が行われた。

• Qwen3.6 27Bモデルは、量子化手法によって必要なメモリ量が大きく変動することが判明した。
• 2ビット量子化（UD-IQ2_XXS）では18GB未満、Q4_K_Mでは30GB未満で動作可能と推定される。
• 量子化手法には、標準的なK-quants、コードブックを用いるIQ quants、Unsloth Dynamic (UD) などが存在する。
• KLダイバージェンスなどの統計的手法で、量子化がモデルの応答確率分布に与える影響を評価できる。
• 高ビット量子化（BF16）では多くのRAMが必要だが、低ビット量子化では大幅に削減可能である。