揭示LLM的分裂联合微调中的深度性能困境

拆分联合 微调 (SFF) 是一种很有前途的范例，通过在资源受限的客户端和集中式服务器之间划分模型深度来扩展 大语言模型 (LLM)。虽然系统对吞吐量和隐私的激励有利于深度分区，但这种配置对模型效用的影响仍然知之甚少。在这项工作中，我们识别并描述了深度性能困境：最大化系统效率的机制正是 微调 质量崩溃的地方。通过对四种模型规模（GPT-2 到 Llama-3-8B）和不同基准的全面审核，我们证明更深的分区可以在吞吐量和隐私方面提供单调增益，但代价是灾难性的性能停滞。我们评估了一套最先进的联邦适配器聚合方法，包括 AVG、STACK、SVD 和 FREEZE，结果表明，虽然这些技术在标准联邦学习中有效，但它们无法减轻分割架构特有的工件。最后，我们对此故障提供了机械诊断，将崩溃追溯到 Transformer 的近等距拓扑，该拓扑允许聚合噪声无衰减地传播，直到触发服务器分区中的注意力崩溃。我们的研究结果挑战了流行的假设，即分区深度是一个实用中性的调谐旋钮，并为稳定的分布式 LLM 微调 提供了结构基础。