论文
GVC-Seg:无需训练 通过几何视觉对应进行 3D 实例分割
GVC-Seg: Training-Free 3D Instance Segmentation via Geometric Visual Correspondence
摘要
点云数据中准确的 3D 实例分割对于机器视觉应用至关重要。最近的进展利用多个预先训练的基础模型来生成 3D 提案,然后应用提案聚合方法,从而显着提高性能。然而,由于不同分割模型的置信水平存在固有差异,它们通常会产生次优结果,从而导致对置信度较高的模型产生偏差。这种偏差本质上是依赖于模型的,并且受到数据预处理技术和训练策略等因素的影响。为了解决这种偏差,我们提出了一种新颖的通过几何视觉对应(GVC-Seg)的 无需训练 3D 实例分割方法,该方法利用 3D 几何线索和 2D 视觉线索之间的对应关系来减轻置信偏差。此外,在实例掩码生成和实例语义推理过程中分别引入了 3D 提议生成模块和掩码感知 CLIP 特征提取模块。通过这种方式,GVC-Seg 增强了提案质量评估,确保跨不同模型的无偏差集成学习。大量的实验表明,我们的方法在几个具有挑战性的基准上实现了最先进的性能,同时在开放词汇语义分割设置中也表现出了强大的潜力。