论文

Wat3R:无需注释的水下 3D 几何学习

Wat3R: Underwater 3D Geometry Learning without Annotations

应用与实践视觉感知与空间理解

摘要

由于光衰减、散射以及缺乏大规模、高质量 3D 注释,估计水下环境中的 3D 几何形状面临着独特的挑战。开创性的方法依赖于大量密集的注释,这在水下环境中是不切实际的。在本文中,我们提出了 Wat3R,这是一种跨域半监督学习框架,旨在适应从空气到水下场景的前馈 3D 重建模型。独特的是,我们的方法不需要遵循师生架构的任何带注释的水下数据,该架构仅在大量未标记的真实水下视频片段上学习稳健的几何表示。我们还设计了一种跨视图一致性损失,它利用其他视图的几何线索来补偿当前视图中由水衰减和散射引起的信息退化。此外,考虑到缺乏综合评估基准,我们构建了Water3D,这是一个涵盖各种水体和水下场景的多样化数据集,专为几何任务评估而设计。实验结果表明,Wat3R 在水下多视图深度估计和点云重建方面优于当前最先进的方法。数据集和代码可在 https://github.com/LSXI7/Wat3R 获取。