HiP-LoRA：用于鲁棒低秩适应的预算谱可塑性

在资源预算下调整基础模型在很大程度上依赖于参数高效的 微调 (PEFT)，其中 LoRA 是标准的模块化解决方案。然而，LoRA 会受到频谱干扰。低秩更新通常将精力集中在预训练权重的主要单一方向上，扰乱一般能力并导致灾难性遗忘和脆弱的多适配器合并。为了解决这个问题，我们提出了 HiP-LoRA，一种频谱感知适应框架。利用预训练层的缓存奇异值分解 (SVD)，HiP-LoRA 将更新分解为两个通道：主奇异子空间内的主通道和正交补中的残余低秩通道。主通道上的奇异值加权稳定性预算不断平衡预训练的行为保留与特定任务的可塑性。 Llama-3.1-8B 上的实验表明，在匹配的预算下，HiP-LoRA 极大地减少了预训练退化和多适配器 MergeFail，在持续调整和知识编辑等干扰敏感任务中远远优于基线。