LLM推論重要度 ★10
線形化への鍵：分析駆動型Transformer線形化
The Key to Going Linear: Analysis-Driven Transformer Linearization
https://export.arxiv.org/api/query·2026/7/8
AI要約
Transformerの因果的自己注意機構の二次コストが長文脈推論のボトルネックとなっている。本研究では、状態更新設計を分離し、softmaxがキー依存のランク1直交射影に依存することを解明。Delta-styleネットワークの優位性を示唆。
AI要点
- Transformerの長期コンテキスト推論における計算コスト問題を解決するため、線形化手法を分析・改良した。
- Softmaxがキー依存のランク1直交射影に依存することを示し、デルタ方式ネットワークの優位性を解明した。
- Sinkトークン、短い畳み込み、固定予算キャッシュルーティングといった構造的介入を導入した。
- LLaMAやQwenモデル（最大32Bパラメータ）でスケーリングし、MMLUベンチマークで先行手法を上回った。
- 複雑な適応キャッシュフレームワークに匹敵する長期コンテキスト検索性能を達成した。
なぜ重要か
TransformerのAttention機構の計算量を線形化する新手法は、長期コンテキスト処理の性能を大幅に向上させ、より長文の理解や複雑なタスクへの応用を可能にし、AIモデルの可能性を広げます。