论文

COSTA:一种以集群为中心的范式,用于具有域移位的航空点云的无注释开放集语义分割

COSTA: A Cluster-Centric Paradigm for Annotation-Free Open-Set Semantic Segmentation of Aerial Point Clouds with Domain Shifts

应用与实践视觉感知与空间理解

摘要

航空点云的语义分割在不同的领域转移下陷入了泛化危机。虽然测试时适应提供了一种隐私保护和计算高效的方法,可以在推理过程中使预训练模型适应未标记的目标域数据,但现有的方法受限于封闭集标签假设和不可扩展的逐点分割管道,仍然难以应对语义转换。我们问:我们是否可以仅在推理阶段将任何给定的预先训练的航空点云分割模型适应移动的目标域,而无需额外的训练,同时按需分割源标签空间之外的特定目标类别?本文介绍了 COSTA,它通过从闭集逐点适应转向以集群为中心的开放集语义传播来打破这一限制。我们的核心发现是,一旦在测试时有效适应,空中点云的丰富特征分布就可以被提炼成一组紧凑的、分离良好的语义质心,这些质心可以跨标签空间转移。 COSTA 利用这一点将开放集语义分割重新表述为集群级传播过程:它首先通过经过验证的测试时间适应来弥合领域差距,然后根据适应特征空间中的相似性分布将每批目标域点分组为一小组语义集群,最后通过集群级投票将从开放词汇视觉语言模型获得的高置信度伪标签传播到所有点。这种以集群为中心的范式使得空中点云能够在具有混合语义变化的显着域间隙下进行测试时适应。以 DALES 作为源域,COSTA 能够跨具有不同域和异构类别空间的三个航空点云基准进行按需分割,在此新设置下实现高达 70.09% 的 mIoU。