LLM推論重要度 ★9
DARTree：自己回帰ドラフトツリーによる投機的拡散デコーディング
DARTree: Speculative Diffusion Decoding with Autoregressive Draft Trees
https://export.arxiv.org/api/query·2026/8/13
AI要約
DARTreeは、投機的拡散デコーディングによって自己回帰型言語モデルを高速化する。拡散ベースのドラフターがトークンブロック全体を並列予測し、再帰的な修正が単一のドラフトチェーンに沿って因果情報を取り込むことで、候補カバレッジを広げる。
AI要点
- 自己回帰モデルの高速化手法である投機的デコーディングにおいて、拡散モデルを用いたドラフト生成の遅延を削減する。
- 「DARTree」は、既存の連鎖的な修正を樹形構造に拡張し、訓練不要で投機的拡散デコーディングを可能にする手法である。
- DARTreeは、固定幅の候補ツリーを効率的に構築し、ベストファースト探索で検証ツリーを選択することで、ARヘッド推論を高速化する。
- 7つのベンチマークで、DARTreeは他の手法と比較して、平均受理長と速度向上が最も高く、最大9.73倍のロスレス速度向上を達成した。
- これにより、自己回帰モデルの推論効率を大幅に改善し、より広範な応用への道を開く。
なぜ重要か
DARTreeは、自己回帰モデルの推論速度を劇的に向上させる革新的な手法であり、特に大規模言語モデルや拡散モデルの応用において、リアルタイム処理やリソース制約のある環境での利用を現実のものとする。