论文

具有贝叶斯条件先验的多标签测试时间适应

Multi-Label Test-Time Adaptation with Bayesian Conditional Priors

模型推理推理验证与自校正

摘要

使用冻结视觉语言模型 (VLM) 的多标签识别在分布偏移下很脆弱:标准零样本推理独立对标签进行评分,忽略共现结构并产生不连贯的标签集,其中主导概念抑制较弱但兼容的标签。我们引入贝叶斯条件先验(BCP)估计,这是一种无梯度测试时间适应方法,无需调整主干网即可注入标签依赖性。 BCP 将零样本 logits 视为固定图像文本似然下边缘后验的代理,并将移位引起的错误主要归因于不匹配的标签先验。对于每个测试图像,它选择一个高置信度锚标签并应用锚条件贝叶斯细化。此更新在 logits 空间中是封闭形式的,并允许逐点互信息 (PMI) 解释,明确提升兼容标签并抑制不兼容标签。 BCP 在没有目标注释的情况下运行,通过轻量级二阶共现统计从未标记的测试流在线估计锚定条件先验,除了单个前向传递之外,增加的开销可以忽略不计。在标准多标签基准和多个 CLIP 主干中,BCP 始终优于强大的 TTA 基线,例如,将 RN50 平均 mAP 从 57.31 提高到 69.22,将 ViT-B/16 从 62.61 提高到 71.79。