论文

MoCam:通过结构化去噪动力学进行统一的新颖视图合成

MoCam: Unified Novel View Synthesis via Structured Denoising Dynamics

应用与实践内容创作

摘要

生成新颖的视图合成面临着一个基本的困境:几何先验提供了空间对齐,但在视图变化时变得稀疏和不准确,而外观先验提供了视觉保真度,但缺乏几何对应性。现有方法要么在整个生成过程中传播几何误差,要么在静态融合两者时遭受信号冲突。我们介绍了 MoCam,它采用结构化去噪动力学来协调扩散过程中从几何到外观的协调进程。 MoCam 首先在早期阶段利用几何先验来锚定粗糙结构并容忍其不完整性,然后在后期切换到外观先验来主动纠正几何错误并细化细节。这种设计通过在扩散过程中暂时解耦几何对齐和外观细化,自然地统一了静态和动态视图合成。实验表明,MoCam 的性能显着优于先前的方法,特别是当点云包含严重的孔洞或扭曲时,可实现稳健的几何外观解缠结。