论文
Reliev3R:减轻多视图几何注释的前馈重建
Reliev3R: Relieving Feed-forward Reconstruction from Multi-View Geometric Annotations
摘要
随着最近的进展,前馈重建模型(FFRM)在重建质量和对多个下游任务的适应性方面表现出了巨大的潜力。然而,过度依赖多视图几何注释,例如3D 点图和相机姿态使得 FFRM 的完全监督训练方案难以扩展。在本文中,我们提出了 Reliev3R,这是一种弱监督范例,用于从头开始训练 FFRM,而无需成本高昂的多视图几何注释。我们的方法减轻了对几何传感数据和计算详尽的运动结构预处理的依赖,直接从单眼相对深度和预训练模型的零样本预测给出的图像稀疏对应关系中提取 3D 知识。在 Reliev3R 的核心,我们设计了模糊感知相对深度损失和基于三角学的重投影损失,以促进多视图几何一致性的监督。 Reliev3R 使用较少的数据从头开始训练,赶上了其完全监督的兄弟模型,向低成本 3D 重建监督和可扩展的 FFRM 迈出了一步。