论文
超越平均箔片:审核冻结 CLIP 区域解释中最差箔片的特异性
Beyond Mean Foils: Auditing Worst-Foil Specificity in Frozen CLIP Region Explanations
摘要
区域可以与目标对象重叠,但对另一个类的贡献更大。我们在冻结的 CLIP 中测试由基于聚类的概念重要性 (CCI) 选择的区域。在具有两个检查点的 COCO 和 VOC 中,通过重叠和平均对比度检查的区域中有 41.08-64.78% 在最强的竞争类别中失败。删除图中标注的竞争对手后,39.69-63.64% 的产品会失败。然后我们测试每个图像的所有八个候选区域。替代方案通过了 COCO 上 6.25-7.84% 失败率的测试,以及 VOC 上 27.40-31.15% 失败率的测试。要求其将原始目标分数下降保持在 $\epsilon = 0.02$ 范围内,可将这些比率降低至 0.16-0.98%。可用区域和目标掉落容限限制修复;放宽耐受性可增加修复机会。