TaDA：用于任务域 LoRA 合并的校准探针选通

将任务 LoRA 适配器与域 LoRA 适配器组合成单个统一模型是一项实用但很大程度上尚未探索的挑战。现有方法将两个适配器视为对称对等体，在所有层上应用统一的权重。我们认为任务和域适配器在 Transformer 架构中表现出一致的深度相关不对称性。域优势随着层深度的增加而增加，而较浅的层保留更强的任务相关信号。受这一观察的启发，我们提出了 $\textbf{TaDA}$ ($\textbf{Ta}$sk-$\textbf{D}$omain LoR$\te​​xtbf{A}$ Merging)，这是一种 无需训练 算法，该算法通过校准探针引导的每层门控和每组件子空间感知合并来利用这种结构。门控使用被证明对适配器权重大小不变的探针信号来分配每层的单独权重和投影类型。在组合剩余组件之前，合并会丢弃冲突的单一方向。 $\textbf{TaDA}$ 生成一个推理开销为零的标准rank-$r$ LoRA 适配器。在 Llama-2-7B 的六项科学 QA 基准测试中，TaDA 的平均准确度为 0.452，比 DARE-TIES 高出 3.6 个百分点，并在所有六项基准测试中获得最佳结果。在 ViT-L/16 的六个图像分类基准测试中，TaDA 的平均准确率达到 85.9%，比最强的合并基线有所提高，同时在六个单独基准测试中的三个中处于领先地位。