Kimi K3の1M文脈を支えるKimi Delta Attentionという線形注意

Kimi K3が1Mトークンの文脈長を現実的な速度とメモリ消費で実現する「Kimi Delta Attention」という線形注意機構について解説しています。文脈長が長くなるほど計算コストが増大する注意機構の課題を、この技術がどのように克服しているかに焦点を当てています。

• Moonshot AIのKimi K3は、Kimi Delta Attention(KDA)という線形注意機構により100万トークンという長大な文脈を現実的な速度とメモリで処理する。
• KDAは、従来のTransformerの自己注意機構におけるKVキャッシュの線形的なコスト増大問題を、固定サイズの状態への情報畳み込みで解決する。
• KDAは、過去の情報を忘れる度合いを細かく制御するゲーティング機構と、計算量を削減する特殊な行列計算により、速度と想起能力のトレードオフを改善している。
• Kimi K3では、KDAと通常のフル注意機構を組み合わせたハイブリッド構成により、フル注意機構を上回る品質を達成している。