ChainLoRA：用于大语言模型持续学习的几何保留任务向量合并

大语言模型（LLM）的持续参数高效微调必须平衡先前获得的知识的保留、对新任务的适应和严格的参数预算。我们提出了 ChainLoRA，这是一个基于链更新的任务向量几何结构构建的免重放连续合并框架。从参数合并的角度来看，我们通过任务更新之间可测量的交互来制定遗忘的几何视图，将方向重叠与系数耦合分开。基于这一观点，ChainLoRA 将链更新训练与流后自适应 SVD 合并相结合。在训练期间，初始化和单侧正交代理仅使用最后一个载波，随着任务流的增长保持其历史状态足迹和正则化开销恒定。在合并时，Adaptive SVD 提取共享载体，并通过 Procrustes 自适应将其与最新任务对齐。我们的理论分析表明，普罗克拉斯特适应促进了共享组件和特定任务组件的几何近似分离。单边代理进一步限制了任务间的干扰。有效排名惩罚还可以促进持续学习期间任务子空间的有效利用。实验表明，ChainLoRA 在 Large 和 SuperNI 基准测试中评估的无重放方法中实现了最先进的性能，同时在标准 CL 上保持竞争力，并在所有三个基准测试中获得与评估的基于重放的方法几乎最接近的平均分数。