ConvergeFlow: 言語の流れを埋め込みベクトルに収束させる証明可能な手法

連続拡散モデルやフローベース言語モデルにおいて、生成されるトークンが有効な埋め込みベクトルに収束しない問題を解決するため、トークン埋め込みの凸包に制約を課す「ConvergeFlow」を提案。証明可能な収束性を実現します。

• ConvergeFlowは、言語モデルにおいて、埋め込みベクトルへの収束を証明可能な手法である。
• この手法は、従来のクロスエントロピー（CE）に依存するデコーダーを必要としない、埋め込み空間ベースのフローベースLMである。
• データ予測子に制約を課し、フローマッチングから誘導される平均二乗誤差（MSE）目的関数のみで学習する。
• 実験では、既存の連続的・離散的な拡散言語モデルと同等の性能を達成した。