逃离低维重叠：通过高维稀疏解耦进行多任务模型合并

模型合并提供了一种无需额外训练即可构建多任务通才模型的有效方法，但其性能在严重的任务干扰下往往会下降。模型合并中的任务干扰主要源于 \textit{superposition}，其中特定于任务的特征在参数空间中纠缠在一起。这种纠缠使得传统的分解方法不足以有效地将有用的任务方向与干扰组件隔离开来。在本文中，我们提出了一种基于稀疏表示的合并框架，该框架使用稀疏自动编码器（SAE）将任务向量投影到高维稀疏特征空间中，从而在融合之前实现特征级解缠。为了减少计算开销，我们进一步引入了轻量级的群排序零阶优化器（GR-ZOO）来识别任务关键层以进行选择性合并。 Qwen2.5-1.5B 和 Qwen2.5-7B 上的实验表明，我们的方法在数学推理、代码生成、指令跟踪和一般知识任务中始终优于代表性基线，包括任务算术、TIES-Merge、DARE、Fisher-Merge 和几种最近的 无需训练 合并方法。在 Qwen2.5-1.5B 上高度冲突的四任务设置中，我们的方法比最强基线进一步实现了 2.78% 的改进。