论文

EmergentBridge:改进统一多模态嵌入模型的零样本跨模态迁移

EmergentBridge: Improving Zero-Shot Cross-Modal Transfer in Unified Multimodal Embedding Models

模型训练预训练

摘要

统一多模态嵌入空间支撑着跨模态检索与零样本识别等实际应用。然而在许多实际部署中,监督信号仅覆盖模态对的一小部分(例如图像-文本),未配对的模态对(如音频↔深度图、红外↔音频)因而连接薄弱,在零样本迁移上表现不佳。因此,解决这种稀疏配对情形,对于在不整理穷尽式成对数据的情况下将统一嵌入系统扩展到新任务至关重要。我们提出EmergentBridge,一个嵌入层面的桥接框架,无需穷尽的成对监督即可提升这些未配对模态对的性能。我们的关键观察是:将新模态朴素地对齐到合成的代理嵌入会引入梯度干扰,破坏现有检索/分类所依赖的锚点对齐结构。EmergentBridge的应对方式是:(i) 学习一个映射,从锚点嵌入生成带噪桥接锚点(已对齐模态的代理嵌入);(ii) 仅在与锚点对齐方向正交的子空间中强制代理对齐,在保持锚点对齐的同时增强非锚点连接。在横跨多种模态的九个数据集上,EmergentBridge在零样本分类与检索上持续优于既有绑定基线,展现出强大的涌现式对齐。

EmergentBridge:改进统一多模态嵌入模型的零样本跨模态迁移:论文配图
图1:零样本语言相关任务性能:以图像为锚模态的EmergentBridge展现出对间接对齐模态的涌现迁移能力。