DIMoE-Adapters：视觉语言模型中持续学习的动态专家进化

持续学习使视觉语言模型能够积累知识并适应不断变化的任务，而无需从头开始重新训练。然而，在多领域任务增量学习中，大的领域转移加剧了稳定性-可塑性困境。大多数现有方法依赖于具有静态分配参数的固定架构，这限制了对新领域的适应并加剧了灾难性遗忘。为了应对这些挑战，我们提出了 DIMoE-Adapters，这是一种动态增量专家混合适配器框架，它引入了动态专家进化范式来平衡稳定性和可塑性。该范例是通过两个协作组件实现的：自校准专家进化（SCEE）和原型引导专家选择（PGES）。 SCEE通过专家优化动态构建和演化稀疏专家库，提高可塑性，同时减少冗余容量。 PGES 根据 SCEE 形成的池控制专家利用率，从而提高以前遇到和未见过的任务的稳定性。大量实验表明，DIMoE-Adapters 在各种设置下都优于以前最先进的方法。