用于无监督数据高效跨模式检索的属性提示内核哈希

无监督的跨模态哈希可以跨不同模态有效检索语义相关的实例，而无需手动语义注释。然而，现有的无监督方法严重依赖大规模图像文本对。收集此类数据的成本可能很高，特别是在由于隐私和专业限制而缺乏对齐良好的数据对的情况下。更关键的是，现有的方法往往会过度拟合可见的训练数据，从而限制了它们对受限训练数据无法覆盖的未见类别的泛化性能。为了解决这些限制，我们提出了属性提示内核哈希（APKH），这是一种新颖的数据高效方法，它构建了一个由视觉语言基础模型的广义属性先验驱动的紧凑的、模态对齐的汉明空间。具体来说，APKH引入了两个核心模块：上下文优化属性核映射（CAKM）和核平滑对比对齐（KSCA）。 CAKM 通过超球面径向基函数核映射制定跨模态对齐，通过即时学习捕获模态不变语义来优化动态属性核。此外，KSCA 通过将有限的配对数据建模为连续核分布来扩展传统的点对点对比学习。这种模态间隙的显式平滑减轻了对稀疏成对相关性的过度拟合。大量实验表明，在数据受限场景下从可见类别到不可见类别的挑战性跨模态检索任务中，APKH 的性能优于最先进的哈希方法。