论文

自由几何:根据自身的较长版本完善 3D 重建

Free Geometry: Refining 3D Reconstruction from Longer Versions of Itself

应用与实践视觉感知与空间理解

摘要

前馈 3D 重建模型高效但僵化:一旦训练,它们就会以零样本的方式进行推理,无法适应测试场景。因此,视觉上合理的重建常常包含错误,特别是在遮挡、镜面反射和模糊提示的情况下。为了解决这个问题,我们引入了 Free Geometry,这是一个框架,使前馈 3D 重建模型能够在测试时自我演化,而无需任何 3D 真值。我们的主要见解是,当模型接收更多视图时,它会产生更可靠且视图一致的重建。利用这个属性,在给定测试序列的情况下,我们屏蔽帧的子集来构建自我监督任务。 Free Geometry 强制完整观察和部分观察的表示之间的跨视图特征一致性,同时保持保留帧隐含的成对关系。这种自我监督允许通过轻量级 LoRA 更新进行快速重新校准,在单个 GPU 上每个数据集花费的时间不到 2 分钟。我们的方法在 4 个基准数据集上持续改进最先进的基础模型,包括 Depth Anything 3 和 VGGT,使相机姿态准确度平均提高 3.73%,点图预测平均提高 2.88%。代码可在 https://github.com/hiteacherIamhumble/Free-Geometry 获取。