论文
通过向外部大语言模型隐藏敏感信息实现隐私保护的检索增强生成
Privacy-Preserving RAG by Concealing Sensitive Information from External LLMs
摘要
检索增强生成（RAG）被广泛用于提升大语言模型回答用户查询的性能。现有的 RAG 隐私研究主要聚焦于防止未授权用户访问敏感数据。然而，RAG 隐私研究中经常被忽视的另一个重要问题是：外部生成器可以访问查询和检索到的文档，其中可能包含机密信息，可能被滥用或被用于预期之外的目的。本文提出敏感实体别名生成器（SEAG），一个隐私保护框架，使用户能够在不泄露敏感信息的前提下使用强大的第三方生成器。SEAG 引入一个轻量模型，用于定位敏感实体、生成对应别名并构建实体替换表。该表用于在用户查询和检索到的文档被转发给外部生成器之前替换其中的敏感词。为此构建了两个数据集：一个用于微调 SEAG 模型以生成实体替换表，另一个用于评估整个 SEAG 框架。实验结果证明了 SEAG 框架的成功。就 User 指标（衡量模型在对外部生成器隐藏敏感信息的同时向用户提供正确回答的能力）而言，所有 SEAG 模型都取得了超过 80% 的准确率。附加分析进一步评估了 SEAG 模型 Qwen-3、LLaMA-3.2 和 Phi-4 隐藏给定文档中全部敏感实体的能力。结果显示性能良好，总准确率分别为 77.83%、76.73% 和 74.91%。
