显着性感知模型合并

模型合并旨在将在不同数据集上微调的多个特定于任务的模型整合到一个执行跨领域能力的统一架构中。当前的无数据模型合并方法通常难以扩展，因为它们依赖于简单的参数级启发式方法，而忽略了层间依赖性和专业知识的不均匀分布。这项工作提出了 SA-Merging，它建立在结构修剪（例如 SynFlow）的基于连接的显着性公式之上，并将其扩展到无数据模型合并设置。我们定义了相对于共享基础模型的任务向量的显着性分数，并进一步引入了合并感知调制，该调制结合了专家之间的协议以减轻任务干扰。基于此公式，迭代显着性感知合并过程逐步删除非信息更新，同时保留端到端连接。此外，我们扩展了 SA-Merging，为 LoRA 引入按等级显着性分解，而不损害其结构完整性。关于视觉和语言任务的大量实验证明了我们基于显着性的方法的有效性，进一步缩小了无数据和测试时适应方法之间的差距。