论文
ProGuT:森林场景的标签高效全景分割
ProGuT: Label-Efficient Panoptic Segmentation for Forest Scenes
摘要
森林环境中的全景分割的瓶颈不是语义质量,而是实例分离;现有的无监督全景方法可以生成可用的物品地图,但物品质量接近于零。基于深度或流的实例发现方法需要的传感器并不总是可用。我们提出了 ProGuT(原型引导训练),它可以生成全景伪标签,无需每个图像训练掩模,只需要未标记的图像和一次性簇到类映射。 ProGuT 对 CLIP 补丁特征进行聚类,然后通过多尺度几何先验恢复主干实例,通过结构张量伪造非主干结构。与创建伪标签的深度、流或类监督方法相比,这很便宜。然后将它们用于下游任务,我们根据其他无监督基线进行评估。 ProGuT 在 Our-forest 数据集上实现了 65.2 的全景质量 (PQ)(比初始伪标签质量提高了 2.6 倍),在 Freiburg Forest 上达到了 65.9 mIoU,优于 PiCIE(45.3 IoU)和 STEGO(57.6 IoU)等无监督基线。此外,对于与类无关的主干实例基准测试,ProGuT 的性能优于现有的无监督方法。