LLM持续学习中通过奇异向量选择实现稳定性-塑性平衡

LLM针对特定领域的持续适应可能会导致灾难性遗忘，从而在获取新能力和保留预训练期间学到的能力之间产生根本性的紧张关系。 PEFT 通过限制可训练参数的数量来缓解这个问题，但现有方法缺乏一个原则单位来决定应在何处分配可塑性并应保持稳定性。我们将奇异向量通道视为管理这种权衡的自然单位。每个通道代表一个输入输出转换，可以更新该转换以获取新知识，也可以对其进行修复以保留预训练的功能。基于这个观点，我们引入了 SVC，一种参数高效的持续学习方法，可以选择性地更新奇异向量通道。在微调之前，SVC 使用特定领域的数据来估计每个通道的适应收益，并使用固定的公共通用域语料库仅作为历史激活代理来估计遗忘成本。然后，它通过基于膝盖的成本筛选、Pareto-front 根据这些分数自适应地选择可训练通道 过滤和大津阈值处理。四个 LLM 系列和八个下游任务的实验结果表明，SVC 更好地保留了预训练的功能，同时相对于现有 PEFT 基线实现了强大的下游性能。对通道评分和选择的进一步分析表明，奇异向量通道级别的选择性可塑性能够实现有效的持续 LLM 适应。