使用全局邻域对齐哈希的无监督数据高效跨模式检索

与有监督的跨模态哈希 (CMH) 相比，无监督的 CMH 通过从未标记的图像文本对中学习二进制代码来减少对手动标记的依赖。然而，现有的无监督 CMH 方法通常依赖于大规模的图像文本对，而收集这些图像文本对的成本很高。为了解决这个限制，我们提出了全局邻域对齐哈希（GNAH），这是一种仅使用有限数量的图像文本对在紧凑的二进制汉明空间内保留视觉语言基础模型的语义结构的新颖方法。具体来说，GNAH 从连续潜在空间捕获全局结构信息，并通过原型锚定全局对齐模块将其传输到二元汉明空间。此外，GNAH 通过对比随机邻域对齐模块对随机邻域关系进行建模，扩展了传统的成对对比学习，从而减轻了对稀疏成对相关性的过度拟合。大量实验表明，在数据受限的情况下，GNAH 始终优于现有的无监督跨模态检索方法，为现实世界的 CMH 应用提供了实用的解决方案。