Ω-QVLA: 複合回転とステップごとのスケーリングによるビジョン・言語・アクションモデルのための堅牢な量子化

Ω-QVLA: Robust Quantization for Vision-Language-Action Models via Composite Rotation and Per-step Scaling

https://export.arxiv.org/api/query·2026/5/27

AI要約

Ω-QVLAは、Vision-Language-Action（VLA）モデルのオンデバイス展開を可能にするための量子化手法です。複合回転とステップごとのスケーリングにより、VLAモデルのパフォーマンスを維持しつつ、メモリ使用量を削減します。

AI要点

Ω-QVLAは、Vision-Language-Action (VLA) モデルの量子化フレームワークである。
従来の量子化手法の課題（LLMバックボーンのみ圧縮、アクションヘッドは高精度維持）を克服する。
学習不要の後処理量子化で、言語バックボーンと拡散アクションヘッド全体をW4A4精度に圧縮する。
複合SVD-Hadamard回転とステップごとのDiTアクティベーションスケーリングを組み合わせる。
LIBEROベンチマークで、Pi 0.5とGR00T N1.5をW4A4に圧縮し、FP16と同等以上のタスク成功率を達成し、メモリフットプリントを71.3%削減した。

なぜ重要か

VLAモデルのオンデバイス展開における高コスト問題を解決するため、学習不要かつ統一的な量子化手法Ω-QVLAを提案し、メモリ削減と性能維持を両立させ、実応用を促進する可能性があるため。