通过卫星图像增强公制尺度的前馈重建模型

前馈 3D 重建模型最近在不同场景中表现出很强的泛化能力，但大多数模型只能恢复未知的全局尺度的几何形状。这种尺度的模糊性限制了它们在需要对环境进行度量理解的应用程序中的使用。现有的度量重建方法通常依赖于大规模的度量注释或精确的相机校准，这两种方法在许多现实环境中都是昂贵的或不可靠的。我们提出了一个卫星引导框架来解决前馈 3D 重建中的尺度模糊性。关键思想是使用现成的卫星图像作为全球度量参考。给定一个粗糙的相机姿态，我们的方法检索本地卫星补丁，并通过双向跨视图交互将其与前馈重建主干集成。通过强制重建场景和卫星参考之间的一致性，该模型推断绝对比例，细化场景几何形状，并估计公制坐标系中的相机姿态。 KITTI、nuScenes 和 Oxford RobotCar 上的实验表明，在度量深度估计、多视角点云重建和跨视角相机定位方面取得了一致的改进，同时保持了跨数据集和地理区域的强大泛化能力。