S$^2$COPE：通过偏好学习进行自我监督概念发现

自监督学习可以从未标记的图像中学习有用的表示。然而，这些表示在很大程度上仍然是不透明的，因此很难理解它们编码的视觉概念。自我监督能否产生人们可以直接理解的有用的视觉概念？我们引入了 S$^2$COPE，一个将图像表示为用自然语言表达的概念集的框架。视觉语言模型提出候选概念，自监督目标评估每个概念描述源图像的程度，同时将其与其他图像区分开来。该反馈用于构建偏好并训练模型以提出更好的概念。在八个不同的视觉数据集中，我们的自我监督概念表示无需适应即可转移，并比之前的可解释方法提高了下游识别准确性。在医学成像中，我们发现的概念揭示了虚假的视觉线索，并实现了更强大的分类器。这些结果表明，自我监督可以从未标记的图像中发现有用的、人类可读的视觉表示。