论文
MuLoRA:谱平衡的持续学习低秩适配
MuLoRA: Spectrally Balanced Low-Rank Adaptation for Continual Learning
摘要
低秩适配(LoRA)是持续学习的参数高效方法,但其名义秩可能掩盖有效适配容量的损失。我们识别出谱可塑性坍缩现象:序贯适配中更新能量集中于少数奇异模态,大量可用低秩空间未被利用。这暴露了仅靠干扰避免的局限:保护历史表示并不保证剩余适配容量对新任务有响应或被有效利用。为此我们提出MuLoRA,联合控制容量分配与利用:历史白化识别相对累积历史响应有强当前任务响应的输入方向,得到训练期间固定的任务自适应基;动量更新的近似极正交化降低所选空间内的谱集中;正交基把因子更新谱精确传递到诱发的权重更新,连接两种机制。我们建立精确子空间选择的max-min刻画,并推导受控跨步各向异性下的累计谱界。在五个类增量基准与八个增量设置上,MuLoRA在16项报告指标中的15项取得最高平均准确率。