3ビットKVキャッシュは無損失か、TurboQuantを読む

3ビットKVキャッシュの精度低下がないというTurboQuantについて解説。回転による圧縮の原理に迫り、元論文とのビット数の違いや実務家の推奨ビット数についても考察。KVキャッシュが長文生成のボトルネックとなる理由にも触れています。

• LLMの長文脈処理におけるKVキャッシュのメモリ消費問題を、3ビット量子化で解決する「TurboQuant」を解説。
• KVキャッシュは長文脈のメモリボトルネックであり、量子化による圧縮が重要となる。
• TurboQuantは、ランダム直交回転でベクトルの分布を整えてから量子化し、精度低下を防ぐ。
• ベクトル復元だけでなく、Attentionスコアの不偏性を保証するため、残差にも追加処理を行う。
• 実測では3.25ビットで約4.9倍の圧縮率、4.25ビットでほぼFP16同等の品質を実現する。