论文

边际覆盖率能否保证换档下零样本 VLM 的等级条件安全性?

Does Marginal Coverage Guarantee Class-Conditional Safety for Zero-Shot VLMs Under Shift?

模型评测鲁棒性、公平性与可信度评测

摘要

分裂共形预测在可交换性下提供了边际覆盖,并且越来越多地用作零样本视觉语言模型(VLM)的弃权层。我们在跨 ImageNet 和非 ImageNet 设置的 CLIP、OpenCLIP 和 SigLIP 部署转变下审核了这一实践。边际覆盖率可以保持相对较高,而类条件尾部覆盖率崩溃:在 ImageNet-Sketch 上,最差类覆盖率下降到 $\approx 0$,并且 10-12% 的类位于有限样本零下限之下,尽管边际覆盖率约为 0.86。该故障与目标域类准确性一致,但我们测试的源域诊断无法预测该故障。源端蒙德里安校准改善了分布内尾部,但不转移,而集群保角和 Conf-OT 改善了边际或平均指标,但没有恢复最差的尾部。目标端类校准大大提升了尾部,但需要每个类都有标签,并且仍然是集大小密集型。我们进一步确定了 2-3$\times$ 的跨家族效率差距,并表明原生 SigLIP sigmoid 分数消除了 APS 的概率质量解释。这些发现在测试模型规模、预训练语料库、提示、错误覆盖水平 $α$ 和转移的非 ImageNet 设置中持续存在。因此,边缘保形覆盖应被视为平均可靠性统计量,而不是作为类尾部的安全保证。