用于多任务模型合并的闭式谱正则化

模型合并将多个独立微调的专家组合成一个多任务模型，无需任何训练数据，从而降低了大型基础模型的存储、服务和去中心化开发成本。最先进的合并方法将合并表述为分层二次干扰最小化问题。尽管该问题承认精确的封闭形式伪逆解，但该解决方案在实践中的性能低于数百次梯度下降迭代。迭代循环在管道成本中占主导地位，但其有效性仍然无法解释。我们重新审视这个机制，并表明迭代求解器主要不是充当优化器；而是充当优化器。相反，它充当不适定正规方程的隐式谱正则器，其中每层干扰算子的小特征值方向放大了代理噪声。基于这一发现，我们将多任务模型合并形式化为噪声线性逆问题，并提出了一种由每方向滤波器参数化的谱滤波估计器。我们用 SWUDI 来实例化这个估计器，这是一种封闭形式的方法，它结合了软指数滤波器（与迭代下降的梯度流轨迹相匹配）和硬顶 K 截断（抑制噪声放大的小特征值方向）。此外，我们提出了 SWUDI-A，一种自适应变体，用每层秩规则取代全局秩超参数，进一步提高了跨架构的鲁棒性。两种变体在每个线性层共享一个对称特征分解，并且不需要训练数据或优化器状态。在四个通用基准和涵盖 VQA、几何、图表、OCR、视觉定位和模态合并的多模态合并基准中，我们提出的谱求解器匹配或优于最先进的合并方法。至关重要的是，它们将挂钟时间减少了 28-72 倍，并将峰值 GPU 内存减少了高达 50%。