Appearance Pointers：拡散トランスフォーマーのマルチモーダル領域制御

拡散モデルにおける画像生成の地域的制御を強化する「アピアランスポインター」を提案。テキストと画像トークンを統合し、出力における詳細な地域的影響を可能にする。

• 拡散トランスフォーマー（DiT）におけるマルチモーダル領域制御の課題に取り組んだ。
• 「Appearance Pointers」という新しいトークンを提案し、領域制御を可能にした。
• Appearance Pointersは、テキストや画像入力をユーザー指定マスクと整合させる。
• この手法は、モデルの再学習なしに、モダリティ非依存の局所的制御を実現する。
• 単一モデルで、領域指定されたマルチモーダル生成において最先端性能に匹敵する結果を示した。