FoRA：参数高效 微调 的 Fisher 正交秩自适应

参数高效的 微调(PEFT) 主要关注 LoRA 及其面向精度的变体，而减少可训练参数的原始目标相对较少受到关注。我们引入了 FoRA，它通过减少适配层的数量而不是适配器等级来重新审视这一目标。 FoRA 通过单通道对角 Fisher 分数（低于训练成本的 1%）选择任务信息层，并在 Stiefel 流形上的选定层上训练 LoRA 下投影，从而保留列正交性和有效等级。在五个 LLaMA 系列骨干网中，FoRA 在参数预算一半的情况下始终优于 LoRA 和 DoRA，在参数预算四分之一的情况下，其准确度与 AdaLoRA 相差 0.7-0.8 点。对 LLaMA、Qwen3 和 Gemma 系列的 12 个骨干网进行的跨架构实验证实了从 270M 到 32B 参数的一致增益。这两个组成部分结合起来具有超加性：仅费舍尔选择就可以在相同预算下匹配排名降低，而 Stiefel 约束则提供决定性的额外增益。