迈向 LLM 的下一个前沿，私有数据训练：联邦 微调 的跨域基准

大语言模型 (LLM) 最近的成功很大程度上是由庞大的公共数据集推动的。然而，LLM 开发的下一个前沿领域超出了公共数据。世界上许多最有价值的信息都是私人的，尤其是在医疗保健和金融等受到严格监管的行业，这些行业的数据包括患者病史或客户通信。解锁这些数据可能代表着一次重大飞跃，使 LLM 具有更深入的领域专业知识和更强的现实实用性。然而，这些数据无法共享，因为它们分布在各个机构之间，并受到隐私、监管和组织障碍的限制。此外，机构数据集通常是非独立且同分布的（非 IID），不同地点的人口特征、数据模式、文档模式和特定于任务的标签分布有所不同。在本文中，我们演示了一种实用方法，通过跨数据孤岛的联合协作来解锁私有和分布式机构数据以进行 LLM 适应。我们的框架建立在 Sherpa.ai 联邦学习平台上，使节点能够共同微调共享的 LLM，而无需交换私有数据。我们通过医疗保健和金融领域的跨领域基准评估这种方法，使用四个封闭式问答和分类数据集：MedQA、MedMCQA、FPB 和 FiQA-SA。我们在反映机构数据异质性的非 IID 设置下跨预训练骨干网比较了三种参数高效的 微调 (PEFT) 策略（LoRA、QLoRA 和 IA3）。我们的结果表明，联合 微调 的表现接近集中式训练，并且优于孤立的单机构学习。从绿色 AI 的角度来看，QLoRA 和 IA3 在精度降低有限的情况下提高了效率，支持联合 PEFT 作为适应数据无法共享的 LLM 的可行方法。