论文

激活很重要:使用视觉语言模型进行 OOD 检测的测试时激活负标签

Activation Matters: Test-time Activated Negative Labels for OOD Detection with Vision-Language Models

模型推理推理验证与自校正

摘要

分布外(OOD)检测旨在识别偏离分布内(ID)的样本。一种流行的管道通过引入远离 ID 类别的负标签并根据它们与这些标签的距离来检测 OOD 来解决这个问题。然而,此类标签可能对 OOD 样本的激活效果较差,无法捕获 OOD 特征。为了解决这个问题,我们提出了 \underline{T}est-time \underline{A}activated \underline{N}egative \underline{L}abels (TANL),通过动态评估整个语料库数据集的激活水平并在测试过程中挖掘具有高激活响应的候选标签。具体来说,TANL 在线识别高置信度测试图像,并在语料库上累积它们的分配概率以构建标签激活度量。这样的指标利用历史测试样本来自适应地与测试分布对齐,从而能够选择分布自适应的激活负标签。通过进一步探索当前测试批次中的激活信息,我们引入了更细粒度、批次自适应的变体。为了充分利用标签激活知识,我们提出了一种激活感知评分函数,该函数强调具有更强激活的负标签,从而提高性能并增强其对标签数量的鲁棒性。我们的 TANL 是 无需训练,测试高效,并且基于理论论证。对不同骨干网和广泛任务设置的实验验证了其有效性。值得注意的是,在大规模 ImageNet 基准测试中,TANL 将 FPR95 从 17.5% 显着降低到 9.8%。代码可在 \href{https://github.com/YBZh/OpenOOD-VLM}{YBZh/OpenOOD-VLM} 获取。