MirrorWorld: ミラー反射生成のためのビデオ拡散モデルの制御

動画生成における鏡像生成の難しさを解決するため、シーンと鏡像の関係性をモデリングする手法を提案。既存のVDMでは不十分な鏡像の不正確さや空間配置の不一致を改善し、高忠実度な動画合成を目指す。

• ビデオ拡散モデル（VDM）を用いた鏡面反射生成の課題に対処する「MirrorWorld」フレームワークを提案します。
• 鏡内のコンテンツと周囲のシーンとの一貫性を保つため、シーンから鏡への関係性をモデル化します。
• 「SRD」でシーンと鏡領域間の意味的関連性を、「GTA」で反射コンテンツの空間配置を学習します。
• 既存の画像ベース手法やビデオインペインティング手法よりも優れた反射再構成品質を達成しました。
• ビデオ鏡面反射生成のための新しいベンチマークデータセットを構築し、公開しています。