通过 lp 正则化在大型语言模型中进行低秩适应的自动排名分配

低秩适应（LoRA）已成为大型语言模型流行的参数高效微调方法。 LoRA 的一个关键挑战是如何确定每个自适应矩阵的秩，因为秩直接控制其容量和效率。现有的自适应排名方法通常根据手动设计的重要性分数来分配排名，这些分数不是直接从优化目标得出的。在这项工作中，我们提出了 $\ell_p$-LoRA，一种基于 $\ell_p$ 正则化且 $0<p<1$ 的原则排序分配方法，这是信号处理和统计中的经典稀疏诱导技术。具体来说，我们规范了每个一级 LoRA 组件的能量，鼓励冗余组件消失，同时保留重要组件。我们推导相应的近端子问题并将矩阵优化简化为二维问题，从而产生用于识别冗余分量的隐式阈值标准。自然语言理解和问答任务的实验表明，所提出的方法与现有的 LoRA 基线相比具有竞争性的性能。