ReCoLoRA：持续的频谱感知递归整合 LLM 微调

参数高效的 微调 将 大语言模型 廉价地适应一项任务，但在整个任务序列中，LoRA 风格的方法不断在相同的冻结权重上堆叠低秩更新，因此每个新任务往往会覆盖以前的任务。我们提出了 ReCoLoRA（低秩适配器的递归合并），这是一种用于连续 微调 的频谱感知框架：适配器根据预训练权重的随机 SVD 进行初始化，通过肘部准则选择每层有效秩，并在打开剩余容量之前调整主子空间。在每个新任务之前，ReCoLoRA 都会将当前的有效权重（而不是原始权重）重新分解为冻结残差、缓慢更新的主成分和新的适配器（递归合并），因此每个任务都从已经吸收了其前任的模型开始。在四个 7-8B 主干上的六任务连续 GLUE 序列上，ReCoLoRA 在四个主干中的三个上相对于秩扫描 LoRA、PiSSA、AdaLoRA 和 DoRA 基线获得了最佳最终平均得分，同时训练的参数较少；预言机路由的任务库变体充当完全任务隔离下的上限。代码：https://github.com/bhqy666/ReCoLoRA。