VidSplat：使用几何引导视频扩散先验的高斯泼溅重建

高斯喷射在多视图表面​​重建方面取得了显着的进展，但当只有很少的视图可用时，它表现出显着的退化。尽管最近的努力通过增强多视图一致性以产生合理的表面来缓解这个问题，但它们很难推断出输入覆盖范围之外的看不见的、被遮挡的或弱约束的区域。为了解决这个限制，我们提出了 VidSplat，一个 无需训练 生成重建框架，它利用强大的视频扩散先验来迭代合成新的视图，以补偿丢失的输入覆盖范围，从而从稀疏输入中恢复完整的 3D 场景。具体来说，我们解决了实现生成和重建有效整合的两个关键挑战。首先，为了实现 3D 一致生成，我们详细阐述了 无需训练 分阶段去噪策略，该策略使用渲染的 RGB 和掩模图像自适应地将去噪方向引导至底层几何体。其次，为了增强重建，我们开发了一种迭代机制，可以对相机轨迹进行采样，探索未观察到的区域，合成新颖的视图，并通过置信加权细化补充训练。 VidSplat 对于稀疏输入甚至单个图像都具有鲁棒性。对广泛使用的基准进行的大量实验证明了我们在稀疏视图场景重建方面的卓越性能。