论文
超越统一子空间：用于多任务模型合并的频谱感知和深度自适应融合
Beyond Uniform Subspaces: Spectrum-Aware and Depth-Adaptive Fusion for Multi-Task Model Merging
摘要
模型合并旨在整合多个特定于任务的模型，而无需访问额外的训练过程。然而，现有的基于子空间的方法在很大程度上依赖于对任务更新的统一处理，忽略了它们内在的光谱和深度方面的异质性。我们确定了与此假设的两个关键偏差：不同的任务需要不同的子空间容量并对光谱变换表现出不同的容忍度，而子空间投影引入了与深度相关的失真。基于这些观察，我们提出了 SADA-Merging，一种用于无数据模型合并的频谱感知和深度自适应框架。 SADA-Merging 根据频谱复杂性分配特定于任务的子空间容量，根据任务可塑性调整频谱保留，并应用深度相关锚定来补偿投影引起的失真。这使得融合过程能够适应每个任务的内在几何结构及其跨网络深度的敏感性。 SADA-Merging 直接对任务更新进行操作，并且适用于完全微调和 LoRA 设置。大量的实验表明，在不同的任务规模和适应设置下，现有的无数据合并方法得到了一致的改进。