MILE：增量 LoRA 专家的混合，用于跨领域和模式的持续语义分割

持续的语义分割要求模型适应新的领域或模式，而不牺牲之前学习的任务的性能。基于专家的学习，其中特定任务的模块专注于不同的领域，已被证明可以有效减少遗忘。这些方法包括动态扩展（存在可扩展性问题）或参数隔离（限制学习新任务的能力）。我们引入了增量 LoRA 专家混合 (MILE)，这是一个模块化且参数高效的框架，用于跨领域和模式的持续细分。 MILE 利用低秩适应 (LoRA) 为每个新任务实例化轻量级专家，同时保持预训练的基础网络冻结。每个专家都专门接受其任务数据的训练，从而避免覆盖以前学到的信息。原型引导的门控机制动态地选择最合适的推理专家。 MILE 实现了基于专家的学习的优势，同时克服了其可扩展性限制。它只需要每个任务增加边际参数，并且在匹配单个完整模型的大小之前需要数十个 LoRA 适配器，从而使其在训练和存储方面都非常高效。在跨领域和模态增量基准测试中，MILE 实现了强大的性能，同时确保了更好的稳定性、可塑性和可扩展性。