GeoGuide：开放词汇 3D 语义分割的分层几何指导

开放词汇 3D 语义分割旨在分割训练集之外的任意类别。现有方法主要依赖于从二维开放词汇模型中提取知识。然而，将 3D 特征与 2D 表示空间对齐会限制内在的 3D 几何学习，并继承 2D 预测的错误。为了解决这些限制，我们提出了 GeoGuide，这是一种新颖的框架，它利用预训练的 3D 模型来集成分层几何语义一致性，以实现开放词汇 3D 分割。具体来说，我们引入了基于不确定性的超级点 蒸馏 模块来融合几何和语义特征，以估计每点的不确定性，自适应地加权超级点内的 2D 特征以抑制噪声，同时保留判别信息以增强局部语义一致性。此外，我们的实例级掩码重建模块利用几何先验通过重建完整的实例掩码来强制实例内的语义一致性。此外，我们的实例间关系一致性模块可以对齐几何和语义相似性矩阵，以校准同一类别对象的跨实例一致性，从而减轻视点引起的语义漂移。在 ScanNet v2、Matterport3D 和 nuScenes 上进行的大量实验证明了 GeoGuide 的卓越性能。