论文
PASR:从遮挡的单一视图中进行姿势感知 3D 形状检索
PASR: Pose-Aware 3D Shape Retrieval from Occluded Single Views
摘要
单视图 3D 形状检索是一项基本但具有挑战性的任务,随着可用 3D 数据的增长,它变得越来越重要。现有的方法主要分为两类:使用对比学习将点云特征映射到现有视觉语言空间的方法,以及学习 2D 图像和 3D 形状的通用嵌入空间的方法。然而,这些前馈、整体的对齐通常很难解释,这反过来又限制了它们在实际应用中的稳健性和泛化性。为了解决这个问题,我们提出了姿势感知 3D 形状检索 (PASR),该框架通过将 2D 基础模型 (DINOv3) 中的知识提取到 3D 编码器中,将检索制定为特征级综合分析问题。通过将姿势条件 3D 投影与 2D 特征图对齐,我们的方法弥合了真实世界图像和合成网格之间的差距。在推理过程中,PASR 通过综合分析执行测试时优化,共同搜索最能重建输入图像的块级特征图的形状和姿态。这种基于合成的优化本质上对部分遮挡具有鲁棒性,并且对细粒度的几何细节敏感。 PASR 在干净和遮挡的 3D 形状检索数据集上都远远优于现有方法。此外,PASR 展示了强大的多任务能力,可在单个框架内实现强大的形状检索、竞争姿态估计和准确的类别分类。