论文
PALoRA：用于保持大语言模型推理能力的投影自适应LoRA
PALoRA: Projection-Adaptive LoRA for Preserving Reasoning in Large Language Models
摘要
用新的或不断演化的事实知识高效更新大语言模型（LLM）仍是核心挑战，因为即便是参数高效适配也可能侵蚀先前习得的推理能力。这种张力反映了可塑性—稳定性困境：模型必须吸收新知识，同时保留对技能至关重要的表示。本工作通过多层感知机权重矩阵的谱结构研究这一权衡。我们从理论和实证两方面证明，对推理至关重要的信息并非仅局限于主导奇异方向，而是分布在整个奇异谱上。基于这一观察，我们提出PALoRA，一个降低干扰的两阶段知识注入框架。PALoRA首先在推理数据集上训练一个奇异值微调（SVF）专家，并将其学到的奇异缩放向量用作冻结的几何探针，以识别对目标技能至关重要的成分。随后在结构正交性约束下用低秩适配（LoRA）进行事实知识注入，确保更新避开已识别的技能相关子空间。在Llama 3.1 8B和Mistral 7B上，以及数学、代码与科学推理基准上，PALoRA平均保留SVF专家推理性能的95%，同时保持有竞争力的事实记忆。相比以往的谱参数高效微调（PEFT）方法，它持续改善技能保留，且参数开销增加不到0.006%。
