FuRA：具有光谱预处理的全阶参数高效 微调

完整的 微调（完整 FT）和参数高效的 微调 方法（例如 LoRA）都引入了权重更新，而不考虑预训练期间建立的谱结构。因此，有限的 微调 数据的噪声梯度可能会扰乱鲁棒的预训练特征。我们将谱预处理确定为缺失的成分：通过其全秩奇异值分解（SVD）重新参数化每个权重矩阵，并冻结一个奇异基限制对预训练列空间的更新，从而产生一种预处理优化方案，该方案在相同的可训练参数计数下优于无约束的全FT。基于这一见解，我们提出了FuRA（全秩自适应），这是一种基于分块张量训练分解W = LSR的高效全秩自适应框架，其中大核心L固定在预训练的分块SVD基础上，而仅优化紧凑核心R和分块奇异值S。该设计同时提供全秩谱预处理，保留全秩更新表达能力，并实现与 LoRA 相当的参数、内存和步进时间效率。 FuRA 在多个设置中始终优于 Full FT，包括 LLM 微调（在 LLaMA-3-8B 常识推理上+1.37）、用于数学推理的 LLM 强化学习以及 VLM 的视觉指令调整。此外，4 位量化变体 QFuRA 也超越了 QLoRA。代码可在 https://github.com/olokevin/FuRA-NIPS 获取