Lift4D：协调单视图 3D 估计以实现野外 4D 重建

从单目视频重建动态非刚性对象需要将直接观察的视觉线索与数据驱动的几何和外观先验相结合。先前的方法要么学习从视觉输入直接预测 4D 表示，要么初始化随后根据视频证据进行变形和细化的 3D 表示。然而，前者受到4D训练数据稀缺的限制，而后者仅利用先验进行初始重建，之后仅依赖视频监督；两者都不能很好地处理具有大变形和遮挡的复杂野外场景。我们推出了 Lift4D，这是一个解决这两个限制的测试时优化框架。首先，我们采用现有的单视图 3D 重建模型，通过因果潜在条件作用产生时间一致的每帧预测，为可变形 3D 高斯泼溅表示提供一致的初始化。然后，我们通过遮挡感知优化“雕刻”此表示以匹配输入视频，该优化忠实地恢复可见表面细节，同时使用视图条件扩散先验完成未观察到的区域。我们证明，Lift4D 明显优于之前的 4D 重建方法，特别是在具有严重遮挡和非刚性运动的野外序列方面。