曲率引导 LoRA：在函数空间中匹配完整的 微调

LoRA 等参数高效的 微调 方法可以有效适应大型预训练模型，但在收敛速度和最终性能方面通常落后于完整的 微调。最近的方法旨在通过将 LoRA 参数更新与完整 微调 的参数更新对齐来缩小这一差距，但这种参数空间对齐仅间接控制模型预测。相反，我们采用函数空间视角并制定 \emph{预测对齐问题}，其目标是将 LoRA 微调 的输出与完整 微调 的输出相匹配。我们表明，这个目标自然会导致曲率感知的二阶公式，其中最佳低秩更新对应于类牛顿的曲率白化梯度。基于这一见解，我们提出了曲率引导 LoRA (CG-LoRA)，一种使用局部曲率信息选择适应方向的算法。我们的方法计算效率高，并且避免了显式的二阶矩阵构造。标准自然语言理解基准的实验表明，与现有 LoRA 变体相比，性能得到了改善，收敛速度更快。