HyQuant: LLM Attentionのためのハイブリッド精度量子化

LLMのトレーニングと推論において、量子化はコスト削減と効率向上のために広く採用されています。しかし、低ビット量子化は、特にアテンションモジュールにおいて大きな誤差を生じさせ、性能低下を引き起こす可能性があります。本研究では、精度と効率のバランスを改善するハイブリッド量子化設計「HyQuant」を提案します。

• LLMのAttentionモジュールにおける量子化エラーを低減する新手法「HyQuant」が提案された。
• HyQuantは、大部分のAttention状態を低ビットで量子化し、一部を高い精度で保持するハイブリッド方式を採用。
• 精度が重要な領域を特定し、計算コストを抑えつつ量子化誤差を削減する。
• PrefillおよびDecodeステージの両方で効率的な量子化と計算を可能にする。
• 既存手法と同等以上の精度を維持しつつ、LLMの学習・推論コスト削減に貢献するとされる。