联合 LLM 微调的隐私保护分割学习

摘要

特定于域的数据上的微调大语言模型 (LLM) 对于下游适应至关重要。在许多部署中，参与者无法在本地保存完整的模型。发生这种情况是因为模型所有者保留完整模型的专有性，或者因为参与者缺乏足够的计算资源。分割学习（SL）通过在参与者和服务器之间划分模型来解决这个问题，以便只有一小部分在本地运行。当底层数据另外分布在具有隐私要求的多个机构时，联邦学习 (FL) 通过仅共享模型更新而不是原始数据，进一步实现参与者之间的协作训练。在这种组合设置中，每个客户端将中间激活传输到服务器，对于 LLM 微调，这种交换造成了固有的隐私悖论。 LLM 的自回归性质会导致传输的激活泄漏输入，而现有的基于扰动的防御在这种情况下基本上无效。我们通过学习的混淆和恢复方案来解决这种泄漏问题，该方案可以保护参与者的私有数据集，同时仍然允许在服务器端训练可独立部署的模型。实验表明，我们的方法以适度的效用损失和系统开销实现了强大的隐私保护，使得基于拆分的联合 LLM 微调实际上可行。