论文
看到而不暴露:开放世界、上下文相关的 MLLM 的自适应隐私控制
Seeing Without Exposing: Adaptive Privacy Control for Open-World, Context-Hungry MLLMs
摘要
多式联运 大语言模型 (MLLM) 提出了新的隐私挑战。在数据方面,用户提供的输入通常包含不可预测的敏感信息;而在下游任务方面,模型推理依赖于丰富的视觉上下文,而这些视觉上下文本身可能是隐私敏感的。然而,现有的隐私保护方法依赖于预定义的敏感类别和固定的混淆策略,难以应对 MLLM 中的此类挑战。为了解决这个困境,我们提出了锚定隐私漂移(APD),这是一种 无需训练 方法,它将隐私敏感元素转向语义上等效的替代方案,同时将上下文线索锚定到源图像。为了系统地评估隐私保护和情境保存的双重目标,我们引入了 AdaptShield,这是一个涵盖 22 个隐私类别的综合基准,它将传统隐私指标与基于 MLLM 的情境效用评估相结合。大量实验表明,我们的方法在隐私清理和内容保留方面实现了均衡改进,在四个 MLLM 系列(即 Qwen2.5、Qwen3、InternVL3 和 InternVL3.5)中,文本类别的平均增益为 10.4%,基于 MLLM 的评估平均增益为 8.5%。