B 空间拥挤：校准 LoRA 合并的共享方向

合并单独训练的 LoRA 适配器是联合多任务训练的实用替代方案，但它通常会损害性能。现有方法通常将 LoRA 更新 $ΔW = BA$ 视为单个对象，并且不区分两个 LoRA 矩阵。我们表明 LoRA 合并干扰的主要来源来自输出侧矩阵 $B$。在跨任务中，$B$ 重复使用一小组共享方向，而 $A$ 仍然更加针对特定任务。结果，合并的适配器过分强调这些共享方向，并且特定于任务的信息丢失。我们提出了 Pico（输出空间中的合并前干扰校准），这是一种无数据方法，通过缩小过度共享的方向，然后重新缩放合并的更新，在合并之前校准 $B$。 Pico 直接插入现有的合并方法，例如任务算术、TIES 和 TSV-M。在数学、编码、金融和医学领域的八个不同基准中，Pico 比相应的基本方法将平均准确度提高了 3.4-8.3 个点，并实现了最佳的整体平均性能。 Pico 还使合并适配器的性能优于使用所有任务数据训练的 LoRA。这些结果表明，当两个 LoRA 矩阵单独处理时，LoRA 合并效果更好。