去偏负挖掘通过预先训练的视觉语言模型改进分布外检测

为了识别来自未知类别的意外输入，分布外（OOD）检测已成为增强机器学习模型可靠性的关键方法。本文重点关注使用预先训练的视觉语言模型 (VLM) 进行事后 OOD 检测的新兴范例，其中流行的流程是通过检查 ID 标签和负标签（即语义上与 ID 标签不同的标签）之间的亲和力来检测 OOD 输入。由于目标 OOD 标签的不可用，现有的工作主要依靠启发式规则从未标记的野生语料库数据中挖掘负标签。尽管取得了实证上的成功，但我们认为基于 VLM 的 OOD 检测的威力尚未完全释放，因为臭名昭著的假阴性问题在文献中还远未得到解决。出于这种动机，我们有兴趣解决挖掘真实负面标签以进行 OOD 评分的挑战。为此，我们开发了一个理论框架，通过间接近似负标签的分布来纠正负标签的采样偏差。也许令人惊讶的是，我们表明，去偏负挖掘可以自然地转换为基于 ID 标签和未标记的野生语料库数据的蒙特卡罗采样。大量实验凭经验表明，我们的方法在各种 OOD 检测设置中建立了新的最先进技术。代码可在 \href{https://github.com/60pen9/Debiased-Negative-Mining-Improves-OOD-Detection-with-Pre-trained-VLMs}{\textcolor{red}{here}} 公开获取。