论文
LAARA：分层自适应秩分配的参数高效微调
LAARA: Layer-Aware Adaptive Rank Allocation for Parameter-Efficient Fine-Tuning
摘要
低秩自适应广泛用于参数高效的 微调，但现有方法通常将相同的适配器秩分配给每个 Transformer 层，尽管它们具有异构自适应要求。在这项工作中，我们从理论上和经验上表明，统一的秩分配从根本上来说是次优的。受这一观察的启发，我们提出了 LAARA（层感知自适应秩分配框架），这是一种免搜索框架，可使用训练期间计算的轻量级对角费舍尔估计来动态分配秩。 LAARA 结合了投影归一化、对数压缩、混合适配器重要性估计和投票更改抑制机制，以产生稳定且高效的秩自适应。 GLUE 和 MathInstruct 基准测试表明，LAARA 始终匹配或优于流行的最先进方法，例如 LoRA、AdaLoRA、DyLoRA 和 Bitfit，同时使用明显更少的可训练参数。我们的结果表明，Fisher 引导的秩分配为自适应参数高效 微调 提供了原则性且有效的基础。该代码可公开获取：https://anonymous.4open.science/r/LAARA-D305/LAARA.py