论文

冻结的超球面特征可以指导伪掩模的选择吗?

Can Frozen Hyperspherical Features Guide the Selection of Pseudo Masks?

模型训练合成数据

摘要

诸如 SAM 之类的基础分割器会为未标记的图像返回几个看似合理的掩模,并且接受错误掩模训练的学生会继承其错误。在其中进行选择意味着查询第二个大型模型或将高质量头部安装到带注释的蒙版上。我们证明,可以通过候选者对冻结的自我监督主干特征的作用来判断它。标准化的 DINOv2 补丁特征位于超球面上,候选掩码将该球体一分为二。基于这篇阅读,我们介绍了 SphereTrust,它通过分割的三个属性、两侧之间的角度对比度、前景外观模式的覆盖范围以及与图像帧的接触来对每个候选者进行评分,其中针对掩模失败的三种常见方式中的每一种属性,并仅根据冻结特征在每张图像 0.55 秒内对池进行排名。在涵盖伪装、显着和二分分割以及弱光下伪装的 8 个 SAM 和 SAM3 候选池中,SphereTrust 在平均选择的 Dice 中超出了六个池中最强评估的外部基线 1.7 至 9.3 个百分点。这些比较包括已发布的选择规则以及明确标记的 DSS 和 UCOD-MKD 的改编。在两个提示的伪装池上,其平均选择的 Dice 与候选 DSS 适应的误差在 0.1 个百分点以内,并且灾难性错误率较低。哪个提示携带信号取决于候选池。同一领域还支持训练。领先的候选者作为候选集进入,其分数作为先验,原型对它们进行重新排序,交叉拟合的第二轮完成标签,与三个 MLLM 锚池上的固定标签训练相比,加权 F 提高了 4.5、2.3 和 5.5 分,学生们在 19 个测试集上与已发布的无监督方法进行竞争。