当一个适配器代表多个适配器时：发现连续 微调 中的低秩冗余

低秩适应 (LoRA) 已成为大型预训练模型参数高效 微调 的标准工具。当在持续学习（CL）中按顺序跨任务应用时，标准假设是每个新任务都需要一个专用的低秩适配器。在这项工作中，我们从经验和结构上挑战了这一假设。我们表明，CL 中特定于任务的 LoRA 适配器表现出显着的低秩冗余：在不同任务上训练的适配器所跨越的子空间基本上重叠，并且在许多情况下，早期的适配器可以忠实地代表后面的任务。基于这一观察，我们提出了 LiteLoRA，这是一种即插即用的门控机制，可以在训练时学习是否招募新的适配器或重用现有的低秩表示。我们的方法将活动适配器的数量减少了 20-70%，同时达到或超过了标准 CL 基准的最先进性能，这表明结构冗余是普遍存在的，并且选择性学习足以在不牺牲可塑性的情况下实现稳定性。