CORA：基于 SVD 的低秩自适应的每切片相干正交旋转

参数高效 微调 (PEFT) 通常通过低秩更新来调整预训练权重，最近的方法进一步利用基础权重的奇异值分解 (SVD) 进行初始化或子空间选择。然而，这些方法没有明确保留预训练的左奇异基和右奇异基之间的耦合几何形状。受最近的最小扰动理论的启发，该理论表明稳定的微调遵循连贯的 SVD 旋转，其中单个正交 $Q$ 作用于左奇异基 $U_0$ 和右奇异基 $V_0$，我们证明了每切片的类似物：$W_0$ 的每个行切片都可以通过在其左基 $U_i$ 和右基 $V_i$ 上共享正交旋转 $Q_i$ 以及对角线谱位移。我们将此形式实现为 CORA（相干正交旋转适应），它将每切片正交旋转和每层对角线缩放应用于 $W_0$ 的秩 $r$ SVD 截断。 CORA 每个线性层使用 $\tfrac{1}{2}m(r{-}1)$ 可训练参数，比同等级的 LoRA 少约 $4{\times}$。 CORA 在常识推理和代码生成方面优于 LoRA、DoRA、PiSSA 和 MiLoRA，同时使用的参数少约 $8{\times}$。