推进实证隐私审计的最先进水平

大语言模型 (LLM) 的参数高效 微调 可能会表现出对单个训练示例的有问题的记忆。经验隐私审计 (EPA) 通过测量成员推理 (MI) 或重建攻击的实际数据泄漏来量化这种风险。 EPA 的一个关键挑战是设计与隐私敏感的训练数据混合的“金丝雀”示例。我们建议通过 LLM 的高温采样（$T \geq 0.8$）生成合成金丝雀，并使用针对隐私敏感训练数据定制的提示。这些金丝雀充当高影响力的异常值，确保高度可识别性，从而确保强有力的审计。此外，由于金丝雀本身是非私有的，因此它们是可检查的并且可以重复插入，而不会危及真实数据的隐私。对隐私敏感数据进行微调的模型的一个重要用途是生成合成数据。这也带来了隐私风险。我们引入了基于 微调 的强大综合数据审计（综合数据的辅助模型）。然后，审核原始金丝雀的辅助模型可以通过合成数据对隐私泄露进行强有力的估计。最后，利用我们强大的审核方法，我们对模型容量和金丝雀熵对记忆的相互作用进行了系统调查。