论文
MatryoshkaLoRA：学习 LLM 微调 的准确分层低秩表示
MatryoshkaLoRA: Learning Accurate Hierarchical Low-Rank Representations for LLM Fine-Tuning
摘要
随着深度学习模型规模扩大到数十亿个参数，微调 的计算成本仍然是部署的重大障碍。虽然低秩适应 (LoRA) 已成为参数高效 微调 的标准，但设置预定义的静态秩 $r$ 需要进行详尽的网格搜索以平衡效率和性能。现有的排名自适应解决方案（例如 DyLoRA）通过在训练期间从预定义的分布中采样排名来缓解这一问题。然而，由于在整个等级层次上缺乏一致的梯度信号，它们通常在较高等级时产生次优结果，从而使这些方法的数据效率低下。在本文中，我们提出了 MatryoshkaLoRA，这是一种受 Matryoshka 启发的 LoRA 通用训练框架，它通过在现有 LoRA 适配器之间插入一个固定的、精心设计的对角矩阵 $P$ 来学习准确的分层低秩表示，以相应地缩放其子秩。通过引入这个简单的修改，我们的通用框架仅通过改变$P$来恢复LoRA和DyLoRA，并确保所有子秩有效地嵌入可用的梯度信息。我们的 MatryoshkaLoRA 支持动态排名选择，且精度下降最小。我们进一步提出了排名精度曲线下的面积（AURAC），这是一个持续评估分层低秩适配器性能的指标。我们的结果表明，与之前的排名自适应方法相比，MatryoshkaLoRA 能够学习更准确的分层低秩表示，并在评估数据集的各个排名之间实现卓越的准确性与性能权衡。我们的代码可在 https://github.com/IST-DASLab/MatryoshkaLoRA 获取。