CT-Merging：LoRA 适配器合并的共识方向和特定于任务的扩展

LoRA 合并方法越来越多地在任务更新的低秩结构上运行，但如何估计公共子空间以及如何在重组后分配系数很少直接进行比较。我们提出 CT-Merging，它估计来自平均任务子空间投影仪的共同方向，并为每个任务分配单独的残差尺度。投影仪平均选择跨任务子空间支持的方向，而不用奇异幅度对它们进行加权，而特定于任务的缩放消除了组件方面的幅度变化并保留了任务之间的尺度差异。在已发布的 KnOTS CLIP 适配器上，CT-Merging 在两个主干上实现了最佳平均和最差任务标准化准确度，分别比最强基线提高了 2.56 点和 6.65 点。在 DC-Merge 适配器基准测试中，它在九个主干和任务计数设置中的八个中实现了最佳平均归一化精度。消融表明，投影仪平均优于求和更新 SVD，并且特定于任务的缩放比全局各向同性缩放提高了最差任务的准确性。