LoCO：低秩组合旋转 微调

参数高效的 微调 (PEFT) 已成为跨自然语言处理和计算机视觉适应大规模基础模型的关键技术。虽然低秩自适应等现有方法通过低秩权重更新实现参数效率，但它们保留预训练表示的几何结构的能力受到限制。我们引入了低秩组合正交 微调 (LoCO)，这是一种新颖的 PEFT 方法，它通过低秩斜对称矩阵和组合旋转链构造正交变换。我们提出了一种近似方案，可以完全并行计算组合旋转，使该方法适用于高维特征空间。我们的方法保持较低的计算复杂度，同时保持正交性和受控的近似误差。我们在不同领域验证 LoCO，包括扩散 Transformer 微调、视觉 Transformer 适应和语言模型适应。与现有的正交和非正交方法相比，我们的方法表现出优越或有竞争力的性能。