CP-MoE：持续学习的保持一致性的专家组合

灾难性遗忘仍然是 大语言模型 (LLM) 和视觉语言模型 (VLM) 持续学习的主要障碍。尽管专家混合 (MoE) 架构提供了有效的扩展路径，但现有的基于 LoRA 的 MoE 持续学习方法仍然面临着一个基本的权衡：它们要么过于激进地隔离专家，限制跨任务的知识转移，要么允许特定于任务的更新覆盖重要的现有参数，导致严重遗忘。为了解决这个问题，我们提出了 CP-MoE，这是一个围绕瞬态专家构建的持续学习框架，可以捕获早期特定任务的更新并指导它们集成到稳定的专家中。 CP-MoE引入了一种保持一致性的路由偏差，它使用瞬态专家来估计与稳定专家的表示相似性，并引导路由选择更兼容的专家；以及瞬态专家引导的正则化机制，它在合并过程中有选择地保护重要的历史参数。这些组件共同减少了参数干扰和遗忘，同时保留了跨任务知识转移。我们使用基于 LLM 和基于 VLM 的 MoE 模型在单模态和多模态持续学习基准上验证 CP-MoE。在 SuperNI 基准测试中，跨越不同的顺序语言任务，CP-MoE 实现了最先进的性能以及对未见过的任务更强的零样本迁移。在 VQA v2 数据集上，它可以有效地扩展到多模态视觉推理，持续减少遗忘，并且优于强大的 MoE 基线。