论文

基础特征的几何引导建模实现了可泛化的物体形状变形学习

Geometry-Guided Modeling of Foundation Features Enables Generalizable Object Shape Deformation Learning

应用与实践视觉感知与空间理解

摘要

单目 3D 形状恢复是几何理解的基础,但实现跨任意视点和未见过的对象类别的稳健泛化仍然是一个重大挑战。在本文中,我们提出了一种可推广的变形学习框架,该框架通过显式变形类别级形状模板以匹配目标观察来重建 3D 对象。为了解决模板和目标之间复杂的形状变化,我们引入了几何引导的特征建模机制。该过程首先使用模板拓扑丰富基础特征,以产生几何感知表示,然后将其与目标观察显式关联以指导精确变形。此外,为了弥合固定模板和任意目标视图之间的差异,我们提出了一种视图自适应特征聚合模块。该模块利用多视图模板特征及其相应的相机姿势来丰富规范模板表示,确保鲁棒的特征对齐,无论目标的视角如何。大量的实验表明,我们的方法在处理大的形状变化和不同的观点方面显着优于最先进的方法,对新类别表现出强大的泛化能力,并有效支持下游现实世界灵巧的机器人操作任务。项目主页:https://GODeform.github.io/