面向异构联邦指令微调的MoE路由器引导聚类

联邦指令微调使大语言模型（LLM）能够适应去中心化、隐私敏感的数据，而无需共享数据。最近的混合专家（MoE）LLM对联邦学习尤其有吸引力，因为其稀疏激活在扩展模型容量的同时减少计算和通信。然而，现有联邦MoE方法主要关注参数聚合与个性化，忽视了MoE模型的路由行为作为客户端协作信息来源的价值。在异构指令分布下，不加区分的聚合可能导致负迁移，因此需要在联邦优化中识别哪些客户端应当协作。我们提出ClientMorpher，一个路由感知的个性化联邦指令微调框架，利用预训练MoE模型的路由签名在聚合之前组织客户端协作。我们研究两种互补的聚类策略：ClientMorpher-C直接用专家激活画像对客户端聚类；ClientMorpher-E先根据跨客户端使用签名对专家聚类，再由此导出客户端协作组。我们在Databricks Dolly-15K数据集上评估ClientMorpher的联邦指令微调，采用病态分布和基于Dirichlet的异构客户端分布，覆盖多个指令跟随任务。实验结果表明，路由感知协作相比传统联邦平均和本地训练持续提升个性化性能，同时保持相同的通信成本。此外，我们的研究表明，以客户端为中心和以专家为中心的聚类为稀疏MoE LLM的个性化联邦指令微调提供了有效且可扩展的途径。