使用 VLM 进行零样本噪声测试时间自适应的双分布估计

虽然测试时适应 (TTA) 使视觉语言模型能够在无需昂贵的再训练的情况下进行适应，但它仍然非常容易受到现实应用中普遍存在的分布外 (OOD) 异常值的影响。这种差异催生了 Noisy TTA (NTTA)，这是一项在线任务，用于动态过滤嘈杂的 OOD 样本，同时最大限度地提高分布内 (ID) 分类精度。现有的零样本 NTTA 方法通常依赖于测试时判别训练，导致过度自信的错误分类并显着降低推理效率。为了解决这些限制，我们提出了一种名为双分布估计（DDE）的新颖框架，将零样本 NTTA 范式从实例级学习转变为 无需训练 高斯分布建模。 DDE 包含两个新颖的模块：正特征分布估计 (PFDE) 和负标签分布估计 (NLDE)。 PFDE 显式地对类包含和排除高斯分布进行建模，以制定校准的对比分数，从而有力地提高 ID 准确性。与此同时，NLDE 通过显式建模负标签分布来挖掘高度辨别性的标签，从而有效地减轻虚假相关性，从而改进了 OOD 识别。大量实验表明，在大规模 ImageNet 基准上，DDE 的调和平均精度提高了 3.70%，OOD 检测的 FPR95 降低了 6.20%，同时保证了高度可扩展和高效的在线推理。此外，DDE 是零样本和 无需训练，在数据稀缺场景中表现出卓越的鲁棒性。代码可在 https://github.com/ZhuWenjie98/DDE 获取。