论文
FounRef:具有稀疏锚的冻结单目基础先验的稳健、结构保持和快速公制细化
FounRef: Robust, Structure-Preserving, and Fast Metric Refinement of Frozen Monocular Foundation Priors with Sparse Anchors
摘要
相机的密集度量深度对于现实世界的 3D 应用至关重要,但同时实现准确性、忠实的表面几何形状和快速推理仍然具有挑战性。单目基础模型提供了丰富的、可转移的几何先验,但缺乏可靠的度量尺度,而深度完成网络以几何保真度、跨域鲁棒性或速度为代价来恢复度量深度。我们提出了 FounRef,一种免训练方法,可将冻结的单目基础与稀疏度量锚点对齐,以产生密集的度量深度。 FounRef 采用模块化设计:其深度先验、锚定源和细化求解器均可独立替换。我们使用 MoGe-2 和 LiDAR 锚点实例化 FounRef。 FounRef 根据先验的密集深度预测验证每个锚点,拒绝仅几何滤波器无法检测到的跨传感器未对准造成的不一致。然后,它通过结构保留求解器应用全局和局部度量校正,保留先验的细粒度几何形状。 FounRef 不需要特定任务的训练,并且可以在不熟悉的摄像机和场景中开箱即用。对于域外数据,与最先进的深度完成网络 DMD3C 相比,它的深度误差降低了 24%,表面法向噪声降低了 92%,推理速度提高了近 15 倍。通过将度量对齐与几何预测解耦,FounRef 提供了一种准确、几何忠实且高效的方法来实现密集度量深度,该方法可以直接受益于基础模型和度量传感器的未来进步。