DPrivBench：对 LLM 差异隐私推理进行基准测试

差分隐私（DP）在保护数据隐私方面有着广泛的应用，但设计和验证DP算法需要专家级的推理，这对非专家从业者造成了很高的门槛。之前的工作要么依赖于需要大量领域专业知识的专门验证语言，要么保持半自动化并需要人在环指导。在这项工作中，我们研究了 大语言模型 (LLM) 是否可以自动化 DP 推理。我们引入了 DPrivBench，这是一个基准测试，其中每个实例都会询问函数或算法是否在指定的假设下满足规定的 DP 保证。该基准经过精心设计，涵盖广泛的 DP 主题、跨越不同的难度级别，并通过琐碎的模式匹配抵制捷径推理。实验表明，虽然最强大的模型可以很好地处理教科书机制，但所有模型都难以应对高级算法，这揭示了当前 DP 推理能力的巨大差距。通过进一步的分析研究和故障模式分析，我们确定了改进自动化 DP 推理的几个有希望的方向。我们的基准为开发和评估此类方法提供了坚实的基础，并补充了现有的数学推理基准。