论文

信心很重要:利用多视图几何先验进行基于 GS 的重建

Confidence matters: Leveraging Multi-view Geometric Priors for GS-based Reconstruction

应用与实践视觉感知与空间理解

摘要

3D 高斯分布 (3DGS) 已成为一种广泛使用的新颖视图合成工具,以稀疏表示形式提供实时渲染。然而,该方法对运动结构初始化和光度优化的依赖可能导致几何重建不理想,特别是对于高镜面反射的物体。在这项工作中,我们研究了将预测法线图和深度图形式的几何先验集成到 3DGS 框架中,以提高重建质量。我们分析了将这些先验纳入基于 GS 的方法的效果,我们的评估表明,多视图预测(由最近基于视觉几何的 Transformer (VGGT) 完成)优于单视图替代方案。一个主要因素是估计置信图的存在,它是多视图模型的副产品,可以通过适当加权每个预测来显着提高先验的有效性。标准基准的大量实验表明,重建质量得到了持续改善,并且在包括镜面物体在内的复杂场景中也取得了显着的进步。