SOS-LoRA：具有固定多尺度缩放的静态正交子空间低秩自适应

低秩适应 (LoRA) 是一种广泛用于 大语言模型 的参数高效 微调 (PEFT) 方法。在固定的秩预算下，LoRA 通过单个低维输入侧路径参数化每个适应的权重，这可能通过共享输入方向耦合异构行为并在优化过程中引起干扰。我们提出了静态正交子空间 LoRA (SOS-LoRA)，这是一种直接扩展，它将Rank-rtot更新重新参数化为K个静态（始终在线、非路由）低秩专家的总和。 SOS-LoRA（i）分解专家之间的总排名，（ii）应用固定的多尺度缩放方案来鼓励尺度分离的优化动态，以及（iii）通过跨专家正交初始化和轻量级正则化器促进多样化的输入侧方向。 SOS-LoRA 保持完全可合并，合并后不添加推理时间参数或延迟。推理和知识密集型基准 (Llama 2/3)、基于编码器的 NLU (GLUE) 和数学推理 (GSM8K/MATH) 的实验表明，与匹配预算的 LoRA 基准和最新变体相比，获得了一致的增益。代码可在 https://github.com/llm172/sos-lora 获取。