论文
DP-LAC：语言模型的差分私有联合 微调 的轻量级自适应裁剪
DP-LAC: Lightweight Adaptive Clipping for Differentially Private Federated Fine-tuning of Language Models
摘要
联邦学习 (FL) 支持跨边缘设备协作训练大规模语言模型 (LLM)，同时将用户数据保留在设备上。然而，FL 仍然通过客户端提供的梯度暴露敏感信息。差分私人随机梯度下降 (DP-SGD) 通过将每个客户的贡献削减到阈值 $C$ 并添加与 $C$ 成比例的噪声来减轻这种风险。现有的自适应裁剪技术可以动态调整 $C$，但需要繁琐的超参数调整，这可能会侵蚀隐私预算。在本文中，我们介绍了 DP-LAC，这种方法首先使用私有直方图估计估计最优值的一个数量级内的初始裁剪阈值，然后在训练期间调整该阈值，而无需消耗额外的隐私预算或引入新的超参数。经验结果表明，DP-LAC 的性能优于最先进的自适应裁剪方法和普通 DP-SGD，平均精度增益为 6.6\%$。