基于Kronecker-Factored Approximate Curvature的Task Arithmetic无数据权重解缠

Task Arithmetic（任务算术）提供了一种模块化、可扩展的基础模型适配方式。然而，合并多个任务向量可能导致跨任务干扰，造成表示漂移与性能下降。表示漂移正则为解缠任务向量提供了自然补救，但现有方法通常需要外部任务数据，与模块化和数据可得性约束（如隐私要求）相冲突。我们提出一种无数据方法，把针对表示漂移的正则化构建为曲率矩阵近似问题。这使我们能利用成熟技术；特别地，我们采用Kronecker-Factored Approximate Curvature（K-FAC），得到一个在任务加法与任务取反中达到最先进结果的实用正则项。我们的方法对任务数量具有常数复杂度，并增强对任务向量缩放的鲁棒性，免去留出集调参。