无需训练 任务向量传输的双线性坐标对齐

微调 大规模预训练模型是最近流行的使一般表示适应专门任务的范例。然而，当新版本的预训练模型可用时，通过 微调 获得的专业知识无法直接重用，因为它与原始模型的参数化相关，需要另一个昂贵的 微调。为了解决这种低效率问题，最近的工作使用任务向量（定义为微调模型与其基本模型之间的参数差异）来跨模型转移专业知识。虽然现有方法通过匹配激活或梯度来桥接不同的模型，但相对于直接的 微调 仍然存在显着的性能差距，这表明这些部分对应是不够的。在这项工作中，我们不再仅仅将任务向量视为参数偏移，而是重新审视任务向量的形成，并表明它们可以作为输入侧激活和输出侧梯度之间累积的双线性交互而导出。受这一观察的启发，我们将任务向量传输表述为双空间对齐问题，并提出 BiCo，这是一种 无需训练 框架，用于通过双线性坐标对齐传输任务向量。 BiCo 使用小型校准集上的单个前向-后向传递来估计两个空间中的正交 Procrustes 映射，无需任何参数更新。在广泛的计算机视觉和自然语言处理基准测试中，BiCo 在宽度、深度和 预训练 配置不同的模型中始终优于现有的传输方法。