連続拡散言語モデル (CDLM's)

Continuous Diffusion Language Models (CDLM) は、拡散モデルを言語生成に応用した新しいアプローチです。これにより、より自然で高品質なテキスト生成が期待されます。

• 連続拡散言語モデル (CDLM) の研究が再燃していることを分析している。
• 従来の離散拡散モデルに代わり、連続拡散モデルが言語生成タスクで注目されている背景を解説している。
• Transformerベースの自己回帰モデルの限界と、拡散モデルの生成プロセスについて説明している。
• 2021年以降の多項式拡散やD3PMなどの初期の離散拡散モデルについても触れている。