混合学的艺术：大语言模型 中基于混合的隐私保护分割学习混淆

分割学习为资源受限的用户提供了一个实用的范例，通过将计算密集型层卸载到服务器，同时将原始数据保留在本地来训练 大语言模型 (LLM)。然而，现有的隐私保护分割学习方法仍然面临着效用、隐私、效率和稳定性之间的艰难权衡。具体来说，这些方法通常会遭受严重的效用下降，仍然容易受到高级数据重建攻击，产生过高的计算和通信开销，或者在不同任务中表现出不稳定的性能。在本文中，我们提出了 MIXGUARD，这是一种针对 LLM 的新型基于 mixup 的隐私保护分割学习框架。 MIXGUARD 引入了 词元级 混淆、表示级混淆和自适应梯度扰动机制，这些机制共同作用以保留有用的学习信号，同时防止隐私泄露到服务器。从技术上讲，MIXGUARD 首先在公共数据集上构建轻量级校准模型，以细化近似的目标表示，然后在隐私数据 微调 的隐私保护过程中应用该模型。我们对多个 LLM 系列、模型大小、架构和 微调 策略的四个分类任务和四个文本生成任务进行了广泛的实验。结果表明，MIXGUARD 保留了与非分割训练基线相当的模型效用，始终能够比现有的分割学习防御方法针对最先进的数据重建攻击实现更强的隐私保护，并且在自适应攻击设置下保持鲁棒性。