论文
CoRe-MoE：面向持续多模态指令微调的紧凑可复用混合专家模型
CoRe-MoE: Compact Reusable MoE for Continual Multimodal Instruction Tuning
摘要
持续的多模态指令调整需要多模态大语言模型来顺序获取新的任务能力，同时保留以前学到的知识。 LoRA-MoE 通过引入基于专家的能力提供了一种有前途的解决方案，但重复学习和维护完整的 LoRA 专家会导致大量的参数开销。这就提出了一个自然的问题：每项新任务都需要全面的专家扩展吗？为了回答这个问题，我们分析了特定于任务的 LoRA 更新的 SVD，并观察到其输入侧和输出侧 LoRA 方向子空间的大量重叠，而特定于任务的适应很大程度上是通过这些子空间上的轻量级坐标来捕获的。受这一观察的启发，我们提出了 CoRe-MoE，一种紧凑的可重用 MoE 框架，用于参数高效的连续多模态指令调整。 CoRe-MoE 从初始专家库中提取可重用的输入和输出侧方向基，并且对于后续任务，仅训练紧凑的坐标专家以及特定于任务的低秩路由器。在两个代表性 MLLM 上进行的实验表明，CoRe-MoE 的最终平均性能比最强的竞争基线提高了 5.90 个点，同时使用后续任务的顺序 LoRA 所需的不到 1% 的可训练参数。该代码可在 https://github.com/runzezz/CoRe-MoE 上公开获取。
