论文
TINS:用于 OOD 检测的测试时 ID 原型分离的负面语义学习
TINS: Test-time ID-prototype-separated Negative Semantics Learning for OOD Detection
摘要
视觉语言模型通过将图像对齐与 ID 标签和负面语义进行比较来实现 OOD 检测。现有的基于负标签的方法主要依赖于在推理之前构建的静态负标签,限制了它们覆盖多样化和不断发展的 OOD 概念的能力。尽管测试时间扩展提供了一种自然的解决方案,但从潜在的 OOD 样本中天真地学习负面语义可能会引入硬 ID 污染。为了解决这个问题,我们提出了一种 \textbf{T}est-time \textbf{I}D-prototype-separated \textbf{N}egative \textbf{S}语义学习方法,称为 \textbf{TINS}。 TINS 通过图像到文本模态反转来学习特定于样本的负文本嵌入,并引入 ID 原型分离正则化,以使其与 ID 语义分离。为了进一步稳定负语义扩展,TINS 采用分组聚合评分和缓冲区更新策略。跨 Four-OOD、OpenOOD、Temporal-shift 和各种 ID 设置的广泛实验表明,在强基线上取得了一致的改进。值得注意的是,在以 ImageNet-1K 作为 ID 的 Four-OOD 基准上,TINS 将平均 FPR95 从 14.04% 降低到 6.72%。我们的代码可在 https://github.com/zxk1212/tins 获取。