论文
DeltaSplat:无标定三维高斯重建的迭代修正
DeltaSplat: Iterative Gaussian Refinement for Pose-Free Feed-Forward 3D Gaussian Splatting
摘要
无姿势前馈 3D 高斯泼溅 (3DGS) 在单个网络通道中从稀疏、未摆姿势的图像重建场景,无需相机校准和每个场景优化。然而,相机估计误差会传播到预测的高斯分布中,并加剧单通道预测的几何和光度误差。为了纠正这些错误,我们引入了 DeltaSplat,这是一种用于无姿态前馈 3DGS 的轻量级高斯细化模块。它迭代地在输入上下文视图处渲染当前高斯,并根据所得残差预测每高斯更新。然而,单独的 2D 残差不足以确定 3D 校正。因此,DeltaSplat 将每像素 Plücker 光线的每次更新和渲染深度作为软几何先验进行调节。双分支卷积混合器有效地对这些输入进行编码,并且每个属性头将融合的特征解码为位置、不透明度和颜色更新。该模块仅向主干添加约 2.2% 的参数,并且在推理时保持完全前馈。在 DL3DV 上,DeltaSplat 达到 26.64 dB PSNR 无姿势设置,将其最先进的骨干网提高了 1.75 dB,甚至超过了地面实况相机提供的基线;在 6-24 个视图和所有相机模式下都保持一致的增益。
