柏拉图式任务算法

专门用于同一任务的不同预训练模型会收敛到非常相似的行为，但产生它的参数更新不共享公共坐标系。因此，权重空间任务算法仅限于单个模型，并且在模型之间传输更新需要结构对应。借鉴柏拉图的洞穴寓言，我们假设这些特定于模型的更新是由一个共享的、与模型无关的对象（柏拉图任务向量）投射的阴影。为了使其能够跨不同架构的模型进行操作，我们引入了通用任务描述符，即形状与架构和嵌入维度无关的矩阵，它记录任务的功能效果并允许加法和求反作为普通矩阵运算，并且我们通过两种方式将描述符传输到目标。单个最小二乘求解返回折叠到目标最后一层的线性算子，并且每个源和任务一个这样的算子库，将任何组合实现为其条目的有符号和。或者，目标编码器的低秩适配器在同一目标上进行训练，但每次编辑需要进行一次优化。尽管特定于模型的残差在范数上与共享组件相当，但从另一个模型的传输保留了目标自身描述符所获得的增益的 74% 到 80%。六个模型系列、八个任务和音频文本模型的实验证实了这两种实现。