CABS+：通过冲突感知稀疏化与自适应权重分配实现高效可扩展的模型合并

模型合并作为一种无需额外重训即可构建统一多任务模型的有前景范式，近期受到显著关注。然而，跨任务的参数冲突和知识干扰常使合并后模型的性能下降。先前工作提出了冲突感知平衡稀疏化（CABS），通过结构化剪枝和顺序掩码减少参数干扰。然而 CABS 依赖网格搜索确定缩放系数，导致指数级时间复杂度，且其优化目标可能被高性能任务主导，造成整体性能欠佳。为解决这些局限，我们扩展 CABS 并提出 CABS+。具体而言，自适应权重分配（AWA）通过无梯度搜索方案优化合并系数以降低时间复杂度，非对称适应度函数则促进跨任务更全面的性能提升。此外，我们对影响模型合并性能的关键因素进行了系统实证研究，并提出相对协同分数（RSS）来量化模型可合并性并指导模型选择。我们在涵盖大语言模型、小规模语言模型和视觉模型的 27 个数据集和 5 个模型上，将 CABS+ 与 CABS、AdaMerging、WUDIMerging 等最先进模型合并方法进行比较。大量实验验证了 CABS+ 的有效性与效率。与 AdaMerging 和 WUDIMerging 相比，CABS+ 分别将整体性能提升 16.97% 和 12.93%，在不同任务数量和模型架构下表现出更强的稳定性与鲁棒性，GPU 显存占用不足 AdaMerging 所需的 25%，合并时间较 WUDIMerging 提速近 4 倍。