了解方向，标准化收益：LoRA 后训练标准化

虽然低秩适应 (LoRA) 可实现高效的任务专门化，但其学习更新可能会损害目标任务之外的功能。我们确定了 adaptation imbalance：几个单一方向主导了后训练的更新，使其性能对增益的分配方式敏感。我们认为学会在哪里适配，并不保证适配强度分配合理。这激发了 LoRA-Norm，一种后训练归一化方法，可以保留学习的方向，同时重新平衡收益。 LoRA-Norm 将光谱重新平衡（奇异值的固定非线性变换）与核范数恢复相结合，从而保留了原始的总光谱质量。它不需要校准数据或额外的训练，也不会引入推理开销。在两个骨干网和三个适应任务中，LoRA-Norm 提高了平均专业化和能力保留，在两项指标上均优于评估的事后频谱修剪和梯度引导编辑配置。更强的功能均衡不会带来一致的额外增益，这表明平衡适配器增益和均衡它们的响应是不同的目标。