通过无数据协方差估计进行模型合并

摘要

模型合并提供了一种廉价地组合各个模型以生成继承每个个体能力的模型的方法。虽然一些合并方法可以接近多任务训练的性能，但它们通常是启发式的，缺乏理论依据。一个原则性的替代方案是将模型合并作为分层优化问题，直接最小化任务之间的干扰。然而，该公式需要根据数据估计每层协方差矩阵，这在执行合并时可能不可用。相比之下，许多启发式方法不需要辅助数据，这使得它们具有实际优势。在这项工作中，我们重新审视了干扰最小化框架，并表明，在某些条件下，可以直接从差分矩阵估计协方差矩阵，从而消除了对数据的需求，同时还降低了计算成本。我们在从 86M 参数到 7B 参数的模型上跨视觉和语言基准验证了我们的方法，优于以前的无数据最先进的合并方法