论文

超越分类:用于持续多模式检索的动态适配器路由

Beyond Classification: Dynamic Adapter Routing for Continual Multimodal Retrieval

模型训练持续学习

摘要

虽然检索是视觉语言模型的核心功能,但针对检索任务不断更新这些模型的研究仍然严重不足。现有的工作通常通过类增量学习 (CIL) 的视角来实现持续检索,在可能无法完全捕获特定检索动态的环境中评估标准 CIL 方法和面向检索的适应。为了解决这个问题,我们引入了一个新的、有原则的评估框架,用于跨越不同视觉领域的连续多模态检索(CMR),并系统地评估此设置中的常见方法。我们的实证分析表明,标准 CIL 方法在我们更具挑战性的场景中无法产生有意义的收益。因此,我们提出了动态适配器路由(DAR),这是一种基于通过基于原型的路由选择的适配器并通过模型合并进行组合的新颖方法。DAR 实现了优于之前基线的性能,并在分布外评估下表现出强大的泛化能力。我们的结果凸显了 CMR 的独特挑战,并鼓励在这个方向上进行进一步的研究。