用于减轻主动即时学习中冷启动的无监督转移集群

视觉语言模型 (VLM) 能够通过对齐视觉和文本表示来实现令人印象深刻的零样本分类性能，但每个新任务仍然需要手工制作的提示。主动提示学习 (APL) 将主动学习 (AL) 和提示学习 (PL) 结合到一个框架中，允许使用 VLM 先验知识来迭代查询要标记的信息最丰富的图像。然而，冷启动问题仍然与 APL 方法相关，其中初始查询的性能可能比随机采样更差。虽然最近最先进的 APL 方法通过平衡采样和多模态特征来缓解，但它们依赖于严格的、基于距离的聚类来对这些特征进行分组。这种简单化的方法可能很难捕获 VLM 固有的复杂、高维语义分布，从而导致查询代表性不佳。无监督转移可以作为一种可能的替代方案应用于这些特征，因为它能够在没有任何形式监督的情况下推断出任务的潜在人类标签。这样，样本就可以被分组为语义一致的簇。本文提出了带有选择性查询的无监督传输集群（UTC+SQ），这是一个通过利用最先进的无监督传输模型来增强最近的 APL 方法的框架。这些模型生成高保真伪标签，建立语义上有意义的聚类，从而允许选择更相关的样本。实验评估表明，从基于距离的聚类转变为基于投影的聚类提高了查询子集的代表性，在测试的 8 个数据集中的 6 个数据集中实现了准确性增益。