CASS：模型合并的贡献感知结构化稀疏性

模型合并将特定于任务的微调模型集成到单个多任务模型中，但经常受到任务向量更新冲突引起的参数干扰。现有的方法通常通过基于权重大小或随机启发式修剪任务向量来缓解冲突，将 Transformer 视为非结构化的“参数包”并忽略其固有的模块化。在本文中，我们提出了 Contribution-Aware Structured Sparsity (CASS)，这是一个统一的框架，通过识别和保留特定于任务的组件来减少参数干扰。 CASS 的核心是一个贡献感知的结构化掩模，用于识别与任务相关的注意力头和 FFN 神经元。我们在两个设置中实例化这个掩码：CASS-Merging，主要的事后设置，其中掩码充当现有合并算子的即插即用去噪过滤器，以及 CASS-Tuning，用于具有微调访问的场景的扩展，其中掩码限制梯度以减少任务向量之间的结构重叠。我们的分析表明，任务相关组件是稀疏且部分不相交的，支持结构化组件级过滤作为减少合并干扰的有效方法。跨视觉（ViT，20 项任务）和语言（RoBERTa，8 项任务；Qwen2.5，4 项任务）基准的广泛实验表明，CASS 改进了一系列代表性合并基线。