论文

单视图网格重建可以推广到机器人相机旋转吗?

Can Single-View Mesh Reconstruction Generalize to Robot Camera Rotation?

模型评测鲁棒性、公平性与可信度评测

摘要

单视图网格重建可通过单次观察来预测对象网格和空间布局,这使其对于快速机器人空间推理和实到模拟数字孪生具有吸引力。然而,机器人安装的摄像机在操作和导航过程中自然旋转,而学习的单视图重建模型通常依赖于视图相关的先验,并且可能很难推广到分布外的摄像机旋转。此类旋转可能会导致 3D 不一致、布局不正确以及违反物理约束,但这种故障模式的评估仍然不足。我们引入了一种评估协议,具有受控的轴方向滚动、俯仰和偏航扫描,以跟踪代表性 SAM3D 风格管道中单目深度估计 (MDE)、规范对象网格、相机空间布局和物理合理性中的误差。在 Aria 数字孪生数据集和真实的 Franka 手腕相机序列上,相机旋转会导致 MDE 失真、布局漂移和碰撞穿透,而规范网格预测保持相对稳定。两阶段 SAM3D+FoundationPose 管道比单阶段前馈布局预测更稳健,并且我们的重力感知细化将单阶段基于成对 ICP 的布局方向误差减少了 47.1$\%$。我们的评估表明,当前的单视图网格重建方法对于机器人相机旋转的泛化性较差,并表明明确的重力线索对于可靠的机器人单视图网格重建非常重要。