通过条件门控更充分利用低秩适配

低秩 Adaptation (LoRA)通过将模型更新约束到低秩子空间来实现参数高效的微调，并在实践中得到了广泛的应用。然而，LoRA 通常在 token 上采用共享的低秩更新，这限制了其充分利用来自不同序列的 token 的适应子空间的能力。为了解决这个问题，我们提出了低秩适应（U-LoRA）的自适应利用，它采用条件门控来显式学习有限低秩适应子空间的有效 token 级利用。具体来说，U-LoRA 为每个 token 生成沿低秩方向的利用系数，并使用序列级上下文信息联合协调和约束它们，从而在句子中引入更一致的自适应模式。为了进一步增强训练的稳定性，我们引入了偏差校正指数移动平均 (EMA) 历史先验，可校准优化步骤中的利用率信号，抑制批次间波动引起的噪声。我们方法的有效性源于通过输入条件策略更好地利用现有的低秩子空间，而不是扩展子空间。数学推理和自然语言理解基准的实验表明，在具有强大的 LoRA 基线和最新变体的情况下，U-LoRA 在可比较的参数预算下实现了具有竞争力的性能。