学习从多任务合并模型中恢复任务专家

多任务模型合并旨在将多个特定任务的专家合并为一个统一的模型，但静态合并始终受到参数干扰的影响。虽然动态合并模型旨在弥补这一差距，但许多工作依赖于在推理时昂贵的存储和加载冗余专家组件。在这项工作中，从任务专家的角度来看，我们将参数干扰视为在合并过程中引入到每个专家的参数扰动。我们表明，这种参数扰动可以建模为仿射变换，可以近似为加性偏移。受这些启发，我们提出了 Recover Task eXpert (ReTeX)，这是一个预测这些偏移的框架，以便消除参数干扰并从单个合并检查点恢复任务专家性能。为了在任务身份未知时恢复适当的专家，我们引入了一种基于推理前离线计算的 SVD 子空间签名的无路由器任务标识符。在推理时，标识符选择其子空间对于给定输入产生最小投影残差的任务。结果，ReTeX 在视觉和 NLP 领域恢复了超过 95% 的个人专家表现，同时显着提高了对未见过的任务的泛化能力。至关重要的是，我们还表明，参数偏移预测会导致针对分布外（OOD）任务的专家知识的自适应插值。 ReTeX 自适应地插入已知的专家知识来处理未知的任务。我们的代码位于 https://github.com/BAIKLAB/ReTeX