大语言模型 的差分私有零阶 微调 的噪声感知收缩

差分私有零阶优化 (DP-ZO) 仅使用前向评估即可实现 大语言模型 的内存高效私有 微调。现有的基于聚合的 DP-ZO 方法以固定规模重建模型更新，忽略了有用信号的强度在整个训练过程中的变化。因此，噪声主导的更新可能会获得过多的权重并降低模型的实用性。为了解决这个问题，我们提出了 SAGE，一种噪声感知收缩方法，可根据估计的信号质量自适应地衰减私有化估计。 SAGE 从观察到的二阶矩中减去已知的高斯噪声方差，以估计潜在的信号能量，通过时间跟踪稳定该估计，并将其当前的信噪比水平与预热参考进行比较，以得出有界收缩因子。作为纯粹的后处理，SAGE 既不需要额外的隐私预算，也不需要模型查询，仅引入恒定的附加状态。我们的理论分析表明，收缩比线性下降项更快地减少了二次更新风险项，保留了有用的下降，同时限制了噪声主导的更新的影响。 RoBERTa-large、OPT-1.3B 和 OPT-6.7B 上的实验表明，在相同隐私预算下，SAGE 在大多数设置中都优于现有基线，同时保留了 DP-ZO 的仅前向内存效率。