用于嵌入向后兼容性的多模式知识保存适配器

升级嵌入模型通常需要昂贵的数据库重新索引，因为新的查询嵌入与现有的数据库嵌入不兼容。虽然向后兼容训练 (BCT) 通过在训练期间强制执行兼容性来缓解这一问题，但现有方法通常需要更新骨干模型。这是不切实际的，因为训练成本高昂、性能回归的风险以及专有模型权重的访问有限。我们引入了多模态知识保存适配器 (MKP-Adapter)，这是第一个用于多模态大型语言模型 (MLLM) 的仅适配器 BCT 方法，无需主干更新。我们发现仅适配器 BCT 的主要挑战是保留新嵌入的知识，同时加强向后兼容性。因此，我们提出了一种多级保存损失，可以在整个 BCT 中保持嵌入空间的几何结构。此外，还集成了焦点重新加权策略，以优先考虑从具有挑战性的样本中进行学习。实验表明，我们的方法在不同的多模式基准（图像、文本、视觉文档和视频检索任务）和模型类型之间实现了强大的向后兼容性。值得注意的是，MKP-Adapter 仅在预先提取的嵌入上进行训练，并且相对于原始主干前向传递仅需要可忽略的额外延迟，这凸显了其效率。