AlphaWiSE：用于持续多模态表示学习的自适应权重插值

诸如 CLIP 之类的多模态模型学习用于跨模态检索的共享嵌入空间，但对顺序到达的数据的持续适应可能会破坏从早期阶段获得的跨模态对齐。传统的持续学习方法返回单个检查点，这使得每个检索方向都遵循相同的稳定性-可塑性权衡。我们提出了 AlphaWiSE，一种事后权重空间插值方法，由两个冻结源检查点组成。对于由其检查点键标识的每个对齐参数张量，AlphaWiSE 拟合所有张量条目共享的一个标量插值系数。这些系数适合较小的样本存储器，并用于实现一个插值检查点。部署的模型与任一源检查点具有相同的架构和参数计数，不需要额外的推理时间。音频图像文本检索的广泛实验表明，在多个检索方向和评估指标上，与强大的持续学习基线相比，取得了一致的改进。