JIVEAdapter：分离共享与个体变化的多任务低秩适配

参数高效的微调以完整微调成本的一小部分来适应预训练模型，但大多数低秩适配器是单任务并乘法表示每个权重更新，没有明确说明跨任务共享的内容以及特定于任务的内容。我们介绍 JIVEAdapter，这是一种多任务“附加”低秩适配器，其灵感来自于统计联合和个体变异解释 (JIVE)。 JIVEAdapter 将每个权重更新分解为跨所有任务共享的联合结构以及每个任务的个体结构，惩罚个体结构与联合接近正交，以便共享和特定于任务的信号保持“可解释”和分离，并在共享联合池和每个任务个体池之间自适应分配排名。联合在一个任务组上联合学习一次，或者一次增量地学习一个任务，然后冻结并重新用作新任务的先验，而无需重新训练共享部分。在基于 DeBERTaV3 的 GLUE 和 SuperGLUE 上，JIVEAdapter 在匹配的每任务有效等级上与强大的单任务和多任务低秩基线竞争，无需额外的模块（例如 MoE），并且当存在相关的保留任务时，其冻结的 Joint 通过仅具有廉价的每方向规模重用该任务的个体来服务 保留测试 任务，否则训练是一个小的新任务。