论文

生成前先见:对象感知增强单视图 3D 重建

Seeing Before Generating: Object Perception Enhances Single-View 3D Reconstruction

应用与实践视觉感知与空间理解

摘要

物体感知和重建之间的关系在人类视觉中已得到很好的确立,但在计算机视觉中仍未得到充分探索。在本文中,我们证明学习的物体感知可以显着增强 3D 重建。针对单视图 3D 对象重建这一具有挑战性的任务,我们提出了一种方法,利用从捕获语义和几何信息的预训练感知模型中提取的感知信号来驱动从单个图像重建对象。我们的方法与模型无关,可以以即插即用的方式集成到各种重建方法中。在基准数据集中使用两个最先进的单视图 3D 重建流程进行的实验表明,我们的方法取得了一致且实质性的改进,验证了将感知纳入生成的有效性。我们对我们的方法及其应用的各个方面进行深入分析。我们的项目页面位于 https://ynhuhuynh.github.io/perception-3d/。