不确定性量化和语义分割基础模型的批判性综合

基础模型通过实现前所未有的准确性和跨领域泛化，越来越多地突破不久前看似不可能的事情。然而，它们缺乏可解释性、过于自信的倾向以及对现实世界领域变化的敏感性给安全和关键任务应用带来了严峻的挑战。不确定性量化（UQ）提供了解决这些问题的原则性方法，但其与细分基础模型的集成仍有待探索。在本文中，我们首次对应用于语义分割基础模型的 UQ 方法进行系统评估。我们在预训练的 SAM2 编码器之上微调轻量级 DPT 解码器，以建立一个简单但有竞争力的基线，并对四种代表性的 UQ 方法进行基准测试 - 蒙特卡罗 Dropout、深度子集成、测试时间增强和证据深度学习 - 跨越城市景观、NYUv2 和两个具有挑战性的域外设置。我们的分析比较了分割准确性、校准、不确定性质量和推理时间，揭示了预测性能、可靠性和计算成本之间的明确权衡。这些结果凸显了不确定性感知基础模型的前景和当前的局限性，表明未来需要共同优化实际部署的准确性、稳健性和效率。