论文

DLEPEM:以动态LoRA专家与原型集成支持类别增量学习

Dynamic LoRA-Experts and Prototype-Ensemble Matching for Class-Incremental Learning

模型训练持续学习

摘要

类别增量学习(CIL)旨在不断学习新类别而不忘记以前获得的知识。使用预训练模型进行参数高效微调可减少参数开销,但可能会受到累积干扰以及推理样本和专用模块之间的次优对齐的影响。我们提出动态 LoRA 专家和原型集成匹配 (DLEPEM),这是一个两阶段不回放旧样本框架。 DLEPEM 为每个增量任务分配一个特定于任务的 LoRA-Expert,以减少跨任务干扰,然后将冻结的预训练模型原型与任务自适应 LoRA-Expert 原型相结合,以实现可靠的任务级别区分。标准 CIL 和 Few-Shot CIL 基准测试的实验证明了所评估协议下的强大性能。