DeepSeek-V4がKVキャッシュを10分の1に減らせたCSAとHCAの設計

DeepSeek-V4はKVキャッシュのメモリ問題を解決するためにCSAとHCAを設計しました。長い文脈を扱うLLMでは、計算量よりもKVキャッシュのメモリがコストのボトルネックになります。入力が100万トークンになると、GPUメモリがKVキャッシュで占有され、スループットが低下します。DeepSeek-V4の設計により、この課題を克服します。

• DeepSeek-V4はKVキャッシュを10分の1に削減するCSAとHCAを設計した。
• CSAは圧縮された疎な注意、HCAは密な注意を層ごとに交互に適用する。
• 100万トークン文脈でKVキャッシュ使用量を約10分の1、推論FLOPsを約27%削減した。
• 系列方向のエントリ数を削減し、長文処理のメモリ効率を大幅に改善した。