逃避迭代参数空间噪声：使用超网络进行差分隐私学习

神经网络的差分隐私 (DP) 训练常常受到基于梯度的方法（例如 DP-SGD）所需的大量噪声的阻碍，这些方法在整个训练过程中反复在参数空间中注入高维噪声。在本文中，我们提出了一种新的动态规划学习框架，避免了参数空间中的迭代优化。我们没有使用私有化梯度更新目标模型，而是采用在公共数据集上训练的超网络将私有数据集映射到目标模型的参数。具体来说，每个例子都被嵌入到一个低维表示中，嵌入被聚合和扰动以获得DP数据集嵌入，并且超网络从这个噪声嵌入生成目标模型参数。由于隐私噪声仅注入低维数据集表示一次，因此我们的方法可以显着减少噪声的不利影响。从理论上讲，我们在综合环境中表明，在固定的隐私预算下，我们的方法生成的模型比使用 DP-SGD 训练的模型具有更高的效用。此外，我们将我们的方法应用于扩散模型的 LoRA 微调，并表明它比使用 DP-SGD 和其他公共数据引导方法训练的 LoRA 模型实现了更低的 FID。