论文
通过梯度手术初始化低秩适配器以进行持续学习
Low-Rank Adapters Initialization via Gradient Surgery for Continual Learning
摘要
LoRA 因参数高效、任务间模块化及兼容回放而广泛用于持续微调，但仍易发生灾难性遗忘，其程度取决于相继任务梯度如何交互：梯度冲突时，常规初始化会把更新导向覆盖既有知识方向的子空间。SLICE 为持续学习提出基于梯度修正的 LoRA 初始化，累计当前任务和历史任务回放缓冲区的梯度，以投影算子协调后经截断 SVD 分解，初始化适配器权重。研究在 TRACE 与 Super-NI 任务序列上评估，还挖掘梯度最大程度相反的任务对构造对抗 Super-NI 序列。相较标准 LoRA、LoRA-GA 和 LoRAM，SLICE 在常规与对抗序列上均改善平均表现、最终表现和遗忘指标，同时保留通用表现与上下文表现，取得更好的稳定性—可塑性权衡。