论匿名化对大语言模型性能的影响

随着 大语言模型 越来越多地部署在敏感领域，匿名输入数据以保护个人身份信息已成为一种关键做法。然而，这种匿名化对模型效用的影响尚不清楚。本文对隐私和性能之间的权衡进行了系统的实证研究。我们通过十一个不同的基准评估了五种著名的语言模型，比较了它们在原始输入和假名输入上的性能。我们的结果表明，虽然匿名化通常会降低性能，但其影响却非常微妙。我们发现功能更强大的模型，例如 Qwen2.5-72B 和 GPT-4o mini，性能下降幅度最大，这表明对特定实体信息的依赖性更强。这种影响还取决于任务：TruthfulQA 的性能通过匿名化得到改善，而 RGB 等以检索为中心的任务则经历了灾难性的下降。进一步的实验表明，保留实体唯一性的可逆匿名化技术明显优于不可逆匿名化技术（例如编辑），并且明确提示有关匿名化的模型没有提供明显的好处。我们的结论是，匿名化并不是一种一刀切的解决方案，必须根据模型和任务进行共同设计，以有效平衡隐私和实用性。我们的研究结果为开发更强大、具有隐私意识的人工智能系统提供了重要的基准。