论文

DeltaSplat:无标定三维高斯重建的迭代修正

DeltaSplat: Iterative Gaussian Refinement for Pose-Free Feed-Forward 3D Gaussian Splatting

模型训练模型推理应用与实践参数高效训练推理验证与自校正视觉感知与空间理解

摘要

无姿势前馈 3D 高斯泼溅 (3DGS) 在单个网络通道中从稀疏、未摆姿势的图像重建场景,无需相机校准和每个场景优化。然而,相机估计误差会传播到预测的高斯分布中,并加剧单通道预测的几何和光度误差。为了纠正这些错误,我们引入了 DeltaSplat,这是一种用于无姿态前馈 3DGS 的轻量级高斯细化模块。它迭代地在输入上下文视图处渲染当前高斯,并根据所得残差预测每高斯更新。然而,单独的 2D 残差不足以确定 3D 校正。因此,DeltaSplat 将每像素 Plücker 光线的每次更新和渲染深度作为软几何先验进行调节。双分支卷积混合器有效地对这些输入进行编码,并且每个属性头将融合的特征解码为位置、不透明度和颜色更新。该模块仅向主干添加约 2.2% 的参数,并且在推理时保持完全前馈。在 DL3DV 上,DeltaSplat 达到 26.64 dB PSNR 无姿势设置,将其最先进的骨干网提高了 1.75 dB,甚至超过了地面实况相机提供的基线;在 6-24 个视图和所有相机模式下都保持一致的增益。

DeltaSplat:无标定三维高斯重建的迭代修正:论文原图
图 2:方法概述。主干网预测相机和初始高斯;在每次迭代中,细化模块使用 Plücker 射线和渲染深度对渲染残差进行编码,并解码每高斯更新 {Δμ,Δc,Δα}\{\Delta\mu,\Delta c,\Delta\alpha\},使用共享权重重复 K=3K{=}3 次。