一篇 Hub 文本破坏了 CLIP：通过 Hubness 识别跨模式编码器中的漏洞

枢纽问题（枢纽嵌入接近许多不相关的示例）经常发生在高维嵌入空间中，并且可能对信息检索和自动评估指标等目的构成实际威胁。特别是，由于文本和图像之间的跨模态相似性无法通过直接比较（例如字符串匹配）来计算，因此将不同模态投射到共享空间的跨模态编码器有助于各种跨模态应用，因此集线器的存在可能会带来实际威胁。为了揭示跨模式编码器的漏洞，我们提出了一种识别中心嵌入及其相应中心文本的方法。 MSCOCO 和 nocaps 中的图像字幕评估实验以及 MSCOCO 和 Flickr30k 中的图像到文本检索任务表明，我们的方法可以识别单个中心文本，该文本在许多图像中不合理地达到与人类编写的参考字幕相当或更高的相似度分数，从而揭示了跨模式编码器中的漏洞。