压缩然后合并：从多个 LoRA 到一个低秩适配器

低秩自适应 (LoRA) 可实现基础模型的参数高效专业化，但特定于任务的适配器的激增会分散许多适配器的功能，使重用和部署变得复杂。我们研究将 $T$ LoRA 合并为单个等级-$r$ LoRA 的问题，从而保留低秩结构的好处。现有的合并然后压缩管道将秩约束视为事后的想法：它们在完整参数空间中合并适配器，然后通过截断的 SVD 将合并结果压缩到秩 $r$。然而，全参数合并可能会破坏低秩结构，使得后续压缩很难恢复有效的rank-$r$ LoRA。我们提出了压缩然后合并（CtM），这是一种反向管道，在合并之前强制执行秩 $r$ 瓶颈：CtM 仅使用 LoRA 权重来计算共享 $r$ 维子空间以捕获跨适配器公共结构，将每个适配器投影到共享子空间中以获得 $r\times r$ 坐标，然后在这个缩小的空间中应用标准合并规则。 CtM 通过构造保证了秩 $r$ LoRA，避免了事后截断，并在由连接的 LoRA 因子跨越的核心空间中实现高效计算。跨多个模型和任务的实验表明，CtM 始终优于现有的单 LoRA 输出基线，同时缩小了与全参数合并方法的性能差距。