ツール/フレームワーク重要度 ★8
Graph Machine: エッジによる事前学習の改善に向けて
Graph Machine: Towards Better Pretraining via Edges
https://export.arxiv.org/api/query·2026/9/2
AI要約
Graph Machine (GM)は、スパースで動的なルーティングを介してアクセスされるO(n)サイズの状態を維持する。GMは、ポインターチェイシングに似た参照メカニズムによって微分可能に更新されるポインターのようなオブジェクトであるエッジを使用し、Transformer層の75%を置き換える。
AI要点
- 状態サイズを$O(n)$に保ちつつ、スパースかつ動的なルーティングでアクセスする新しいアーキテクチャ「Graph Machine (GM)」を提案している。
- GMは、TransformerのDense層の75%をGMスパース層に置き換えてQwen3-0.6Bモデルを事前学習し、性能低下を最小限に抑えた。
- エッジ（ポインタのようなオブジェクト）を微分可能に更新するメカニズムにより、固定サイズ状態や静的ルーティングの制約を回避している。
- 少数のトークン（KVヘッドあたり2〜4トークン）の取得で、損失のわずかな悪化またはわずかな改善が見られた。
なぜ重要か
Graph Machineは、既存のTransformerアーキテクチャの計算効率を大幅に改善する可能性を秘めた新しいアプローチであり、巨大なモデルでもスパースなアクセスにより計算コストを抑えつつ、高性能を維持することを目指しています。