论文

NoDrift3R:用于漂移鲁棒的未设置前馈 3D 重建的光线图引导耦合

NoDrift3R: Raymap-Guided Coupling for Drift-Robust Unposed Feed-Forward 3D Reconstruction

应用与实践视觉感知与空间理解

摘要

无姿态前馈 3D 高斯泼溅 (3DGS) 最近已成为快速场景重建的强大范例。然而,由于累积的相机姿态估计漂移,其性能在长图像序列中显着下降,这会将误差传播到几何建模中并严重限制渲染保真度。在这项工作中,我们重新审视长序列瓶颈,并将位姿漂移确定为限制重建质量的主要因素。此外,虽然基于 SfM 的伪 真值 姿势会引入传感器噪声,但由于几何和姿势的纠缠优化,纯粹基于渲染的监督通常会导致优化不稳定和局部最小值。为了应对这些挑战,我们提出了一种协同无姿态框架,通过光线图引导耦合模块(RGC)显式耦合几何和外观。具体来说,我们将高斯中心锚定到光线贴图引发的几何体,并在统一的目标下联合优化 RGB 重建、光线贴图一致性和相机正则化,产生双向反馈循环:更强的几何体改善渲染,外观监督反过来细化几何体和姿势。为了进一步稳定宽时间范围内的学习,我们引入了双频视点调度策略,该策略将由易到难的区间扩展与短区间对的重放相结合。跨域内和跨域数据集的广泛实验表明,渲染和姿态估计都取得了一致的收益,并且长序列的鲁棒性显着提高。消融研究验证了我们的核心见解:明确设计的几何外观协同作用是可扩展且稳定的无漂移前馈 3D 重建的关键。项目页面:https://xiangyu1sun.github.io/NoDrift3R-project-page/