4DGS-Fixer：通过视频扩散先验引导的迭代细化生成稀疏视图 4D 高斯泼溅

本文解决了稀疏视图视频动态场景合成的挑战。现有方法采用几何先验、自适应优化或密度控制策略来改进稀疏观测下的 4D 高斯建模。然而，它们并不能从根本上解决由于观测不足和场景信息缺失而导致的不适定问题。此外，稀疏视图 4D 高斯泼溅 (4DGS) 经常遭受几何初始化不良的困扰：只有少数输入视图，COLMAP 通常会重建稀疏且不完整的点云，导致大场景区域没有足够的高斯支持，并使它们难以通过后续优化来恢复。为了解决这些限制，我们提出了一种基于视频扩散模型的新型迭代细化框架，以提高动态 4D 场景的完整性和一致性。具体来说，我们首先估计多视图深度图并将它们融合到密集点云中，为动态 4DGS 表示提供更完整的几何初始化。然后，我们采用预训练的视频恢复模型来细化在不同时间步骤沿着新颖的相机轨迹渲染的序列。恢复的序列作为伪监督来规范和迭代细化 4DGS 表示。在广泛使用的基准数据集上进行的实验表明，我们的方法大大优于现有基线，与之前性能最佳的方法相比，PSNR 提高了近 2 dB。