正交但耦合：解耦几何组件以进行模型合并

摘要

合并预训练模型已成为将不同功能整合到单个统一模型中的有效方法。然而，流行的合并方法通常将每个任务向量视为不可分割的合并单元，忽略了其中编码的异构几何变化。这种处理可能会引起跨组件耦合：当从完整任务向量的统计数据中得出合并决策时，一个组件的几何特征可能会影响另一个组件的选择、加权或组合方式，从而可能降低合并模型的质量。为了解决这个问题，我们提出了 DiGA，一种解缠结的几何感知模型合并框架。使用预训练权重作为共享几何参考，DiGA 将每个任务向量正交分解为与不同几何属性相对应的分量。 DiGA 不是将任务向量合并为一个整体，而是在各自的子空间内独立地聚合相应的组件，然后将它们重新组合成统一的更新。这种逐成分的公式保留了每个成分的几何特性，并防止一个成分的特征干扰另一个成分的聚集。此外，DiGA 可以合并到广泛的现有模型合并方法中。跨不同模型、任务和合并方法的大量实验表明，DiGA 可以提高合并模型的性能并减少能力下降。我们的存储库位于 https://github.com/wzj1718/DiGA.