LLM推論重要度 ★10
GradCuit：信用配分された勾配フローは、堅牢で解釈可能なテスト時間潜在推論を可能にする
GradCuit: Credit-Assigned Gradient Flow Enables Robust and Interpretable Test-Time Latent Reasoning
https://export.arxiv.org/api/query·2026/8/3
AI要約
GradCuitは、テスト時における大規模言語モデルの解釈可能性と堅牢性を向上させるための新しい勾配流ベースのフレームワークを提案する。モデルパラメータを固定したまま、インスタンス固有の連続状態を最適化することで、推論プロセスにおける潜在状態の更新が後続の推論にどのように影響するかを明示的に追跡・制御する。
AI要点
- GradCuitは、Transformerの層間に最適化可能な潜在状態を挿入する手法である。
- 潜在状態と生成トークンの間の因果的自己注意により、勾配を潜在状態に直接割り当て可能。
- Chain-of-Thoughtプロンプティングを6.6%上回る精度を達成し、既存手法を2.4%上回る。
- 7つの学習率設定で一貫してLatentSeekを上回り、精度標準偏差を0.82に低減。
- 潜在状態が推論コネクタートークンに集中し、最適化空間は早期〜中期のTransformer層が効果的と判明。
なぜ重要か
GradCuitは、LLMがアウトプットを単に生成・サンプリング・再ランク付けするだけでなく、推論方法自体を適応させるテスト時間スケーリングの新しい軸を切り開き、堅牢性と解釈可能性を高める技術的インパクトがある。