具有可学习秩的参数高效 微调

低秩适应 (LoRA) 是一种流行的参数高效 微调 (PEFT) 方法，它将权重更新限制为低秩适配器，通过在低维子空间中优化来引入固定的低秩归纳偏差。在这项工作中，我们质疑固定秩约束是否是参数高效 微调 的最有效的归纳偏差。我们引入*可学习秩 LoRA (LR-LoRA)*，这是一种 PEFT 方法，其中适配器秩在训练过程中学习。 LR-LoRA 不是为所有适配器层规定统一的等级，而是允许优化器确定每个层的适当等级。使用这种方法，我们发现学习秩存在显着的分层变化，Transformer 模型中的注意力层和 MLP 层表现出系统不同的秩偏好。在一系列语言理解和常识推理基准中，LR-LoRA 在大多数设置中实现了最先进的性能，并且始终优于强大的 PEFT 基线，这表明可学习的秩提供了比固定秩适应更灵活、更有效的归纳偏差。