通过排名检索进行多模式数据管理

共享嵌入空间广泛用于多模态搜索和数据管理。在实践中，有两个问题常常限制其效果。首先，嵌入可以更多地反映模态而不是含义，因此即使底层内容匹配，示例也会按输入类型进行聚类。其次，用于训练这些空间的配对监督通常很吵。当我们混合许多异构的、人工标记的数据集时，这些问题会相互加强并降低跨模式检索的性能。我们提出了一个框架，通过作用于训练对和嵌入模型来改善对齐。对称核子采样 (SNS) 通过将原始输入和注释修剪到最能相互支持的部分来细化训练对。专家嵌入引擎 (EEE) 将使用学习投影网络的互补嵌入专家与可减少嵌入空间中模态驱动分离的偏差感知目标相结合。我们证明，与基础嵌入专家相比，这种方法平均缩小了超过 90% 的模态差距，并且是一个强大的数据管理者，我们方法的数据混合在下游模型性能方面优于分层采样和传统的管理基线。