通过联邦学习优化多语言 LLM：客户端语言构成研究

多语言环境中 大语言模型 (LLM) 的联邦学习 (FL) 面临着来自客户端之间的异构语言分布和语言资源可用性差异的重大挑战。为了应对这些挑战，我们扩展了 FederatedScope-LLM 框架，以支持使用 LLM 进行多语言指令调优实验。我们还引入了一种新颖的特定于客户端的提前停止机制，即本地动态提前停止（LDES-FL），它允许客户端根据客户端验证性能暂停和恢复本地训练，从而提高训练效率和可持续性。通过一系列实验，我们研究了客户语言构成（从完全单语到越来越多语言的客户）如何影响多语言质量、公平性和训练成本。单语言本地 微调 对于单语言专业化仍然是最有效的，而联合训练更适合学习单一平衡的多语言模型。在 FL 中，增加客户端内的多语言性会带来更强大、更公平的全局模型，缩小与集中式多语言 微调 的差距，并为资源较低的语言带来最大的收益，尽管是以更多优化步骤为代价。总体而言，我们的结果将客户语言构成确定为多语言 FL 中的关键设计变量，可塑造性能、公平性和效率。