并非所有等级都是平等的：具有预算意识的 LoRA 跨任务合并

合并低秩适配器 (LoRA) 有望消除在推理时交换特定于任务的权重的开销。然而，现有的合并方法假设每一层都需要相同的排名预算。此外，一些方法假设排名预算也需要在任务之间平均分配。我们表明，这种统一预算假设是合并 LoRA 和按任务 LoRA 之间性能差距的主要原因。然而，等级选择是一个NP难题。为此，我们引入了 Net Utility，这是一种无数据指标，它首先通过奇异值分解 (SVD) 分解每个 LoRA 任务，并根据其任务效用及其对其他任务方向的干扰对每个奇异方向进行评分。接下来，我们全局汇集这些分数以选择具有最高值的单一方向，并对所选方向的总数进行限制。所提出的网络效用指标应用于三个不同合并空间的五种不同合并方法之上。合并是通过两组任务完成的，即视觉任务和语言任务。基于净效用的排名分配优于没有这种分配的同类分配。平均而言，在视觉任务上，它的性能提高了 2.1%，在语言任务上，性能提高了 2.2%。