反射を考慮した生成による新規視点合成

Ref-GeNVSは、鏡面シーンにおける反射を考慮した学習不要な新規視点合成手法である。鏡を2つの補完的な視点として扱い、鏡像を生成に利用することで、既存モデルが苦手とする鏡面の表現や、反射された内容を活用したリアルな画像生成を可能にする。

• 鏡面シーンにおける反射を考慮した新規視点合成手法 Ref-GeNVS を提案した。
• 既存の multi-view diffusion model は鏡を認識できず、反射を利用できないという課題があった。
• Ref-GeNVS は、鏡像を補完的な視点とみなし、仮想視点を生成する。
• Mirror-gated attention と Reflection injection により、反射整合性のある NVS を実現する。
• 追加学習不要で、既存の multi-view diffusion model の汎化能力を活かせる。