将视觉语言模型从标志性模型调整为包容性模型，以实现无标签的多标签识别

理解多标签图像仍然是计算机视觉中的一项具有挑战性的任务。随着视觉语言多模态学习的快速进展，视觉语言模型（VLM）可以实现无需标记数据的零样本识别。然而，由于其内在设计，这些模型通常会优先考虑最具标志性的对象，而忽略其他积极的上下文。这种内在的偏见与多标签学习的本质相冲突，从而限制了它们的适用性。在这项工作中，我们提出了一个无监督框架，使 VLM 从图标识别转向包容性理解，从而实现无标签的多标签图像识别。我们的方法由两个关键阶段组成：“切割”和“缝合”：在切割阶段，我们提出了多采样响应估计器，以防止模型仅集中在一个对象上。在第二缝合阶段，引入多对象混合自适应来调整标签以更好地符合多标签分布，同时仅在一个时期内保留原始模型的内在特征。大量的实验表明，我们的框架在四个公共数据集上显着优于现有的无监督方法，甚至超过了几个代表性的弱监督基线。这些结果证明了采用预先训练的 VLM 无需手动注释即可实现更全面的视觉理解的潜力。我们的代码可在 https://github.com/iCVTEAM/TailorCLIP 上公开获取。