论文
JumpLoRA：大语言模型 中用于持续学习的稀疏适配器
JumpLoRA: Sparse Adapters for Continual Learning in Large Language Models
摘要
基于适配器的方法已成为 大语言模型 (LLM) 持续学习 (CL) 的一种经济有效的方法，通过顺序学习每个任务的低秩更新矩阵。为了减轻灾难性遗忘，最先进的方法通过针对子空间或坐标干扰，对新适配器相对于以前的适配器施加限制。在本文中，我们提出了 JumpLoRA，这是一种新颖的框架，通过使用 JumpReLU 门控来自适应地在低秩适应 (LoRA) 块中引入稀疏性。该方法实现了动态参数隔离，有助于防止任务干扰。我们证明我们的方法是高度模块化的，并且与基于 LoRA 的 CL 方法兼容。具体来说，它显着提高了 IncLoRA 的性能，并优于领先的最先进的 CL 方法 ELLA。