从任务混合到专业专家

在协作基础模型微调中，客户端数据很少是同质的。相反，客户通常拥有不同数据分布或任务的未知混合物。传统的联邦学习主要解决客户端之间的异质性，而没有明确解决每个客户端内的潜在任务混合问题。我们将这种设置作为复合异质性进行研究，其中客户之间和内部的数据都是异质的。我们研究了对常见冻结表示的适应，并表明，当任务共享相同的特征几何形状时，平方损失下客户端任务混合的最佳模型是其基础任务的最佳模型的凸组合。因此，单个本地训练的模型代表客户的整体任务组合，而各个输入可以从不同的底层任务分布中提取。这促使将输入路由给专业专家，并且我们表明，当任务最优形成单纯形时，与真正混合客户端的任何单一适应模型相比，任务对齐路由实现的风险更低。通过访问一小组带有任务标记的公共样本，我们得出了一个凸程序来恢复任务专家并将其与相应的任务相匹配。我们的路线分析表明，有效的专业化需要根据每个客户的任务组合进行依赖输入的专家选择。受此分析的启发，我们提出了 FedSEE。在我们的实验中，FedSEE 避免了在评估基线中观察到的负迁移，总体性能提高了 2.9 分，服务最差的四分位数提高了 3.7 分。