ドラフトトークンを並列生成する拡散モデル方式「DFlash」をGemmaで試した

LLMの生成高速化技術「MTP」について、ドラフトトークンを並列生成する拡散モデル方式「DFlash」をGemmaで試した結果を解説。複数のトークンをまとめて予測する仕組みについて説明している。

• 画像生成で用いられる拡散モデル（Diffusion Model）を応用したLLMのトークン投機予測技術「DFlash」が登場した。
• DFlashは、複数のトークンをまとめて予測する「ドラフトモデル」として機能し、Gemmaなどの広範なモデルに対応可能である。
• 検証の結果、DFlashは既存のAssistantモデル（Gemma純正MTP）には速度面で及ばなかったものの、その負け方から得意・不得意が明確になった。
• DFlashは、ドラフトモデル内部でのトークン予測メカニズムに拡散モデルを用いている点が独自であり、従来の自己回帰型とは異なるアプローチを取っている。
• LLMの生成速度向上のための技術として、DSparkやDFlashのような新しいアプローチが継続的に登場しており、今後の発展が期待される。