多任务学习的基本子空间合并

模型合并旨在通过将从同一预训练检查点微调的多个模型的功能集成到单个模型中来实现多任务学习。其核心挑战是任务特定参数更新之间的任务间干扰。在本文中，我们分析了任务更新引起的输出变化，并观察到它们的能量集中在少数主要方向上。我们将这些方向所跨越的子空间称为本质子空间。相比之下，大多数剩余方向几乎没有与任务相关的能量，但它们在多个任务更新中的积累可能会在合并过程中造成严重干扰。受这一观察的启发，我们提出了基本子空间分解（ESD），它根据其激活转变的主要组成部分来分解每个任务更新。基于 ESD，我们引入了基本子空间合并（ESM），这是一种 无需训练 静态合并方法，可将基本组件正交并融合到一个紧凑的多任务模型中。我们进一步将 ESM 扩展到 ESM++，这是一种 无需训练 动态合并方法，可将特定于任务的残差分解为低秩专家，并在前向推理过程中通过基于原型的路由选择最相关的专家。跨多个任务集和模型规模的大量实验表明，ESM 和 ESM++ 有效地保留了任务知识，同时减少了任务间干扰。代码可在 https://github.com/kiddo127/ESM 获取。