论文
GaussVid:具有 3D 感知视频扩散先验的稀疏视图高斯泼溅
GaussVid: Sparse-View Gaussian Splatting with 3D-Aware Video Diffusion Priors
摘要
3D高斯分布(3DGS)在新颖的视图合成方面取得了显着的成功;然而,稀疏视图下的重建通常会表现出明显的伪影。虽然最近的视频扩散模型为 3DGS 恢复提供了强大的时空先验,但直接使用 微调 进行恢复并不是最优的,因为它们缺乏对底层多摄像机几何结构的认识,从而导致多视图不一致。在这项工作中,我们提出了一种新颖的 3D 感知视频恢复框架,旨在提高稀疏 3DGS 重建的质量。具体来说,我们构建了一个大规模 3DGS 视频数据集来启用专门的 微调。为了弥合 2D 视频生成和 3D 多视图约束之间的差距,我们引入了相机条件几何先验。通过使用第一帧和最后一帧作为边界锚并编码相应的相机关系,我们将空间结构明确地注入视频生成管道中。这种边界锚定的、相机感知的先验引导网络进行基于几何的恢复,在各个视点之间保持一致。大量实验表明,在视频先验恢复方法中,我们的方法获得了最佳的像素和结构级保真度(PSNR/SSIM)并提高了多视图一致性,同时在感知质量(LPIPS)方面保持竞争力。