以任务为中心的个性化联合语言模型 微调

联邦学习（FL）已成为一种很有前途的技术，用于在不同任务的分布式和私有数据集上训练语言模型。然而，在异构任务上训练的聚合模型通常会降低单个客户端的整体性能。为了解决这个问题，个性化 FL (pFL) 旨在创建适合每个客户的数据分布的模型。尽管这些方法提高了本地性能，但它们通常在两个方面缺乏鲁棒性：（i）泛化：当客户端必须对未见过的任务进行预测或面临数据分布的变化时，以及（ii）客户端内任务干扰：当单个客户端的数据包含多个分布时，这些分布在本地训练期间可能会相互干扰。为了应对这两个挑战，我们提出了 FedRouter，这是一种基于集群的 pFL，它为每个任务而不是每个客户端构建专门的模型。 FedRouter 使用适配器来个性化模型，方法是采用两种集群机制将适配器与特定任务关联起来。一种将适配器与任务数据样本关联起来的本地集群，以及将来自不同客户端的相似适配器关联起来以构建以任务为中心的个性化模型的全局集群。此外，我们提出了一种评估路由器机制，可根据创建的集群将测试样本路由到最佳适配器。通过实验将我们的方法与跨多任务数据集的现有方法进行比较，FedRouter 在这些具有挑战性的场景中表现出强大的弹性，在任务干扰下相对提高了 6.1%，在泛化评估下相对提高了 136%。