DynProto：用于分布外检测的动态原型演化

最近的研究表明，使用大型语料库中潜在的分布外 (OOD) 标签作为辅助信息可以改善视觉语言模型 (VLM) 中的 OOD 检测。然而，当现实世界的 OOD 样本超出预定义的 OOD 标签集时，这些方法通常会失败。为了解决这个限制，我们提出了 DynProto，这是一种在测试过程中仅使用分发内 (ID) 信息动态学习 OOD 原型的新颖方法。 DynProto 的灵感来自于一个关键观察：预测为相同 ID 类的 OOD 样本倾向于在特征空间中聚集。有了这种洞察力，我们利用易于检测的 OOD 样本作为“锚”来找到难以检测的相似对应样本。为此，DynProto 引入了两个模块：\textbf{粗粒度 OOD 模式捕获模块} 缓存在测试过程中容易与每个 ID 类混淆的 OOD 模式，而 \textbf{细粒度 OOD 模式细化模块} 随后在每个缓存中对这些模式进行聚类，并将它们聚合成代表性的 OOD 原型。通过测量 ID 和动态 OOD 原型的相似性，DynProto 能够实现准确的 OOD 检测。 DynProto 在多个基准测试中显着优于先前的方法。在 ImageNet OOD 基准上，DynProto 将 FPR95 降低了 11.60%，将 AUROC 提高了 4.70%。此外，该框架与架构无关，可以集成到各种主干中。