Kimi K3の1M文脈を支えるKimi Delta Attentionという線形注意

Kimi K3が1Mトークンの文脈を現実的な速度とメモリで処理できるのは、Kimi Delta Attentionという線形注意機構による。総パラメータ数よりも、長文脈処理を可能にする技術が重要であることを示唆している。

• Moonshot AIのKimi K3は、1Mトークンという超長文脈を現実的な速度とメモリで処理するために「Kimi Delta Attention (KDA)」という新しい線形注意機構を導入した。
• 従来のTransformerの自己注意機構は、文脈長に比例して計算コストとメモリ使用量が爆発的に増加する課題があった。
• KDAは、線形注意の効率性とTransformerの想起能力を両立させるため、状態更新のゲーティング機構を細かく制御し、効率的な行列演算を採用している。
• Kimi K3では、全層をKDAに置き換えるのではなく、通常のフル注意機構とKDAを組み合わせたハイブリッド構成をとることで、処理速度と品質を両立させている。