论文

通过深度匹配和对称传播进行 RGBD 到 3D 对象网格细化

RGBD-to-3D Object Mesh Refinement via Depth Matching and Symmetry Propagation

应用与实践模型评测鲁棒性、公平性与可信度评测视觉感知与空间理解

摘要

单视图 3D 重建器通常会生成与输入视图不一致的合理网格,尤其是在深度不连续和自遮挡附近。我们提出了一种轻量级、即插即用的 RGBD 到 3D 改进,无需重新训练即可改进任何 RGB 到 3D 重建器。给定深度图,我们通过与反向投影深度点的二分匹配来校正可见表面,将这些校正镜像到检测到的对称平面上的被遮挡侧,并使用平滑度解算器传播它们。每个阶段都是封闭式的,使得该方法比优化稠密型测试时间细化快几个数量级。在具有五个骨干网的 GSO 和 OmniObject3D 上,它产生一致的增益,还具有单目伪深度,从对称对象的对称性中受益更多,并且与之前在精度和运行时间方面的改进相比具有优势。它进一步改进了 RGB-D 到网格重建器,并转移到具有噪声传感器深度的真实捕获。