沙丘社区
论文

CoDe-LoRA：以知识积累与解耦改进持续学习

CoDe-LoRA: Mitigating the Orthogonality Dilemma in Continual Learning of LLMs via Knowledge Consolidation and Decoupling

Maoqi Liu, Quan Fang, Yufei He
模型训练持续学习

摘要

持续学习 (CL) 对于大语言模型 (LLM) 顺序适应不断变化的任务至关重要。为了减轻灾难性遗忘，最近的进展通过正交投影（例如 O-LoRA）实现了低秩适应，以隔离任务参数。然而，我们发现这种严格的几何约束会引发“正交困境”：严格的参数隔离阻碍了语义相关任务之间共享表示的传输和积累。在这项工作中，我们针对 LLM 的 CL 提出了一种新的无重放方法，称为合并和解耦 LoRA (CoDe-LoRA)。 CoDe-LoRA 将学习过程分解为巩固通用知识和解耦特定任务知识。为了实现这一目标，CoDe-LoRA 利用自适应零空间投影机制和语义路由来平衡知识积累与特定任务的适应。四个 骨干模型 和三个 CL 基准测试的实验结果表明，CoDe-LoRA 实现了最佳平均精度。我们的代码可在 https://github.com/Estrellajer/CoDe-LoRA. 获取

CoDe-LoRA：以知识积累与解耦改进持续学习：论文原图
图 2：正交性困境和可转移表示积累的初步证据。 (a) 不同任务相似性水平下正交性引起的退化。 (b) 在有和没有正交约束的情况下在重复的训练上传输轨迹。 (c) 连续适应方法之间的下一个任务零样本迁移比较。 (d) 跨顺序任务的前向传递动态。