多模态检索增强生成中视觉证据的身份解耦匿名化

多模态检索增强生成（MRAG）系统从大型图像语料库中检索视觉证据，为大型多模态模型的响应奠定基础，但检索到的图像经常包含人脸，其身份构成敏感的个人信息。现有的匿名化技术破坏了下游推理所依赖的非身份视觉线索，或者无法提供有原则的隐私保证。我们提出身份解耦 MRAG，这是一个在检索和生成之间插入生成匿名模块的框架。我们的方法由三个组成部分组成：（i）一个解纠缠的变分编码器，它将每个面分解为一个身份代码和一个空间结构的属性代码，通过互信息惩罚和基于梯度的独立项进行正则化； (ii) 一种多方面感知的拒绝采样器，用合成代码替换身份代码，保证与原始代码不同且真实； (iii) 一个条件潜在扩散生成器，它根据替换身份和保留的属性合成匿名面孔，并提炼成用于低延迟部署的潜在一致性模型。隐私是通过人脸识别模型的多预言机集合来强制执行的，该模型具有基于铰链的损失，一旦身份相似性降至冒充者政权阈值以下，就会停止优化。