论文
超越视觉证据:揭示和减轻文档 MLLM 中的关系隐私泄露
Beyond Visual Evidence: Revealing and Mitigating Relational Privacy Leakage in Document MLLMs
摘要
虽然多模式 大语言模型 (MLLM) 的隐私风险引起了广泛关注,但特定领域 MLLM 的独特漏洞在很大程度上仍未得到充分研究。本文重点关注用于身份文档处理的文档理解 MLLM,研究了关键信息提取 (KIE) 任务中固有的隐私问题。我们发现,当输入图像缺乏足够的视觉证据时,这些模型通常依赖于训练数据中记忆的字段关系来推断缺失的内容,从而泄漏包含敏感个人信息的多个相关字段。为了减轻这种风险,我们做出了三个关键贡献。首先,我们提出了动态关系解除学习框架(DRUF),其中包括关系解耦解除学习(RDU)模块和动态集更新机制。它抑制了高风险字段对的泄漏,同时保留了 KIE 性能。其次,我们引入了 DocPrivacyBench,这是一种新颖的基准,用于系统地评估模型在缺乏或极少视觉证据的情况下对隐私泄漏的敏感性。第三,我们使用此基准评估了三个 MLLM 和六种遗忘方法,评估了遗忘后泄漏抑制和效用保留。我们的结果表明,当视觉证据稀缺时,现有的 MLLM 始终表现出隐私泄漏,特别是在噪声较高的情况下数据集。相比之下,DRUF 的表现优于最强基线,将泄漏抑制提高了 4.8 个百分点,有效降低了隐私风险,同时保持了强大的文档信息提取性能。