動的な新規ビュー合成のためのオンラインニューラル時空間メモリ

動的シーンにおけるリアルタイムな新規視点合成のため、オンラインニューラル空間時間メモリを提案。フレームごとの重いメモリ更新なしに、長期記憶とリアルタイム制約のトレードオフを解決し、変化する動きに適応。

• 動的な新規ビュー合成において、リアルタイム制約下で長期間の記憶を維持するオンラインニューラル時空間メモリを提案しています。
• 従来のTest-Time Training（TTT）は、動的なシーン変化に対応するためにフレームごとの勾配更新が必要で、リアルタイム性に課題がありました。
• 本手法は、メモリ更新の頻度を下げ、クロスビューアテンションを用いてフレームごとのメモリ適用を行うことで、リアルタイム処理を実現します。
• 補助的なMemory LossとMemory Caching戦略により、シーンの持続的な記憶と、時間経過による記憶のドリフトを防ぎます。
• 動的な人間の動きを含むシーンにおいて、リアルタイムかつ最先端の性能を示し、数分規模のオンライン記憶能力を実証しました。