PRISM：规范不变切线空间差分私有 LoRA

通过 DP-SGD 将差分隐私 (DP) 应用到低秩适应 (LoRA) 是隐私保护 微调 的自然方法。然而，LoRA 的低秩参数化带来了根本性的挑战。在 LoRA 中，每个可训练更新都表示为低秩矩阵 $Z = AB^\top$，但这种分解本质上是不可识别的：许多因子对 $(A,B)$ 表示相同的更新 $Z$。因此，将 DP-SGD 直接应用于因子会引起 $Z$ 上与规范相关的扰动，并且我们表明这种朴素的 DP-LoRA 可以导致无界噪声放大。我们提出了 PRISM，这是 LoRA 的一种内在 DP 机制，通过构造实现规范不变，避免双线性噪声放大，并允许高效的低维噪声采样器。此外，PRISM 产生了 $Z$ 上产生的有效固有噪声的封闭形式表征，从而通过有界的、规范不变的扰动实现稳定的隐私与效用权衡。我们为 PRISM 建立了标准的 $(ε,δ)$-DP 保证，并引入了 DP 感知、规范不变的自适应更新规则，该规则可防止自适应优化放大注入的隐私噪声，从而提高实践中的数值稳定性。