论文
非线性感知 LoRA：低秩约束下的结构化门自适应
Nonlinearity-Aware LoRA: Structured Gate Adaptation under Low-Rank Constraints
摘要
低秩适应 (LoRA) 通常被视为完整 微调 的更新空间近似，但对于自门控 Transformer 前馈网络来说，这种观点是不完整的。在门控 FFN 中，低秩残差不仅可以改变投影特征，还可以改变决定哪些通道对输出有贡献的非线性选择权重。我们将这种效应形式化为选择错位，并将其与自门控激活的局部有效同质性联系起来。这激发了参数高效 微调 的非线性感知原则：低秩更新应将容量分配给非线性状态保持响应的门通道，并应塑造选择的时间演化。我们提出了 NA-LoRA，一种具有两种轻量级机制的仅训练方法：用于门相关 LoRA 更新的基于导数的时间重要性掩码，以及当有意义的粗略有效同质性分区可用时的特定于激活的步骤缩放规则。 NA-LoRA 不会增加辅助损失，也不会产生推理时间开销。对语言模型 微调 和视觉语言迁移基准的实验表明，NA-LoRA 比普通 LoRA 持续改进，并且与强大的 PEFT 变体具有竞争力或更好。