论文

CrevasseSeg:标签高效的无人机裂缝分割框架

CrevasseSeg: A Label-Efficient UAV Crevasse Segmentation Framework

模型评测模型行为与机制分析

摘要

利用无人驾驶飞行器 (UAV) 图像进行裂缝测绘对于冰川学研究和冰川地形的现场安全至关重要。然而,冰川表面的像素级注释成本高昂,并且需要领域专家。我们引入了 CrevasseSeg,这是一个在斯瓦尔巴群岛 Borebreen 终点站上进行二进制分割的框架,包括 1,938 个用于自监督/无监督 微调 的未标记无人机正射马赛克图块、24 个用于验证的标记图块和 176 个用于测试的标记图块。使用 CrevasseSeg,我们跨三种架构对五个自监督目标进行基准测试:BYOL、Jensen-Shannon Divergence (JSD) 目标、Barlow-Twins、VICReg 和组合的 BYOL-JSD 目标:O-Net、O-Net++ 和 DINOv3 初始化的 O-Net。每个配置都在两个冻结特征读数下进行评估,这两个读数仅在决策边界的形式上有所不同:线性探针和非线性 XGBoost 分类器仅适合 24 个标记的验证图像。我们的中心发现是两个读数之间的一致反演:DINOv3 特征在线性探测下最弱,但在非线性读数下最强。对学习特征空间的 UMAP 分析表明,DINOv3 将像素分割成许多小簇,其中类局部交错,而卷积架构(O-Net 和 O-Net++)将它们嵌入到单个类排序流形中。卫星预训练的 DINOv3 改进了跨目标的自然图像初始化,并且我们的标签高效 DINOv3-ViT-L-Sat-O-Net-BYOL-JSD 管道达到 75.33 mDSC / 61.28 mIoU,优于适合相同 24 个标记图像(使用 RGB 像素值作为特征)的标准机器学习基线。我们发布 CrevasseSeg 来支持遥感中的标签高效分割研究。