VLM量子化はLLMだけ見ない：ViT・Connector・LLMのbit配分を考える

VLMの量子化において、LLMだけでなくViTやconnectorのビット配分も考慮することで、モデルサイズ削減とタスク精度の向上が期待できる。BLIP-2とLLaVA 1.5にGPTQ・AWQを適用し、ViT、Q-Former、LLMのビット配分を探索した論文の知見を紹介している。

• VLMの4bit量子化では、LLMだけでなくViTやConnectorのbit配分もtask精度に影響を与える場合がある。
• VQAタスクではLLMの精度が、RetrievalタスクではViTとQ-Formerが精度に大きく影響することがBLIP-2とLLaVA 1.5の実験で判明。
• GPTQとAWQでは、各コンポーネントの重要度分布が異なり、AWQが常にGPTQより高精度とは限らない。
• VLM量子化の最適化は、taskと手法を固定した上で、componentごとの感度を測定し、探索空間を絞り込む必要がある。
• LLMのパラメータ数が多くても、ViTが少ない場合でも、taskによってはViTやConnectorの精度維持が重要になる場合がある。