通过强大的不确定性-准确度相关性对任何事物进行分段

尽管零样本性能很强，但由于掩模级置信度混淆 (MCC)，SAM 在域转移下并不可靠，其中单个基于 IoU 的掩模分数无法反映边界附近的像素级可靠性。受神经网络中纹理偏向的快捷方式与人类视觉中以形状为中心的处理之间的对比的启发，我们将域外变化建模为外观变化和非刚性变形，共同强调校准。我们提出了具有鲁棒不确定性-精度相关性（RUAC）的分段任何东西，用于在外观和变形变化下进行鲁棒的像素级不确定性估计。 RUAC 添加了一个轻量级的不确定性头，通过联合扰动纹理和几何形状的协作式变形攻击对其进行训练，并应用不确定性-准确性对齐来确保即使在对抗性扰动下，不确定性也能始终突出显示错误像素。在 23 个零样本域中，RUAC 提高了分割质量，并通过更强的不确定性-准确度相关性产生更忠实的不确定性。项目页面：https://hongyouzhou.github.io/ruac/。