Kimi K3を理解する②──アーキテクチャの全体像

Kimi K3のアーキテクチャ概要を解説する記事です。標準的なTransformerデコーダーの構造を踏まえ、Kimi K3がそれをどのように置き換えたのかを比較しながら、その全体像を理解することを目指しています。

• Kimi K3は、標準TransformerのAttention層をKDA（Kimi Delta Attention）とGated MLAで置き換え、FFN層をMoE（Mixture of Experts）に置き換えている。
• KDAは、過去のk, vを個別保持せず状態Sを更新することで、系列長に依存しないキャッシュ管理を実現し、メモリ使用量を削減する。
• Gated MLAは、KDAだけでは補いきれないグローバルな参照を、低次元潜在ベクトルへの圧縮と復元により、キャッシュ量を大幅に削減しながら実現する。
• MoEは、トークンごとに専門のFFNエキスパートを選択・適用することで、計算効率を高め、特定ベンチマークでGPT-5.6 Solを上回る品質を低コストで達成した。
• Attention Residualsが層間の表現力をカバーし、 ([KDA + MoE] × 3 → [Gated MLA + MoE] × 1) × N という2種のブロック繰り返し構造を持つ。