拡散言語モデルとは？LLMが2.42倍速くなる新しい生成の仕組み

「拡散言語モデル」という新しいLLM生成の仕組みについて解説。NVIDIAが公開した「Nemotron-Labs-TwoTower」モデルにも触れ、LLMの生成速度向上に貢献する技術を紹介している。

• NVIDIAが発表した「Nemotron-Labs-TwoTower」は、既存の自己回帰モデルに並列生成を組み合わせた拡散言語モデル（dLLM）である。
• このdLLMは、品質を約98.7%維持しつつ、生成スループットを従来の自己回帰モデルと比較して2.42倍向上させることに成功した。
• 拡散言語モデルは、画像生成のようにノイズ除去を繰り返し、ブロック単位でテキストを生成することで高速化を実現している。
• Gemini DiffusionやMercuryといった先行研究があるが、Nemotron-Labs-TwoTowerは既存資産への後付けで高速化を実現した点が新しい。