论文

当恢复很重要时:MLLM 编辑中代理隐私的盲点

When Recovery Matters: The Blind Spot of Surrogate Privacy in MLLM Editing

模型评测基准与评测资源

摘要

多模态 大语言模型 (MLLM) 可实现灵活的指令驱动图像编辑,但当用户图像暴露多样化且特定于用户的私有内容时,就会出现隐私风险。规范的隐私保护策略通常在云编辑之前用替代内容替换敏感区域。然而,最终的输出通常是经过编辑的替代图像,而不是所需的经过编辑的源图像,忽略了设计和评估范围中的局部恢复。为此,我们引入了 SPPE(基于代理的隐私保护编辑),这是第一个面向恢复的基准,涵盖 36 个细粒度隐私类别和 65 个编辑指令。它定义了两个互补的任务:1)可编辑性评估,在云交互之前估计代理是否可以诱导与原始图像一致的编辑; 2)代理到源编辑恢复,评估编辑后的代理是否可以在保留编辑效果的情况下传输回私有源。我们使用专用方法来处理每个任务:ERMA 通过指令感知的多模态关系建模来预测代理可编辑性,而 \method 通过使用代理编辑对作为视觉编辑证据和源图像作为源保留锚点来执行循环一致的恢复。 SPPE 和 InstructPix2Pix 上的实验显示这两项任务都有一致的改进。对于可编辑性评估,ERMA 在 SRCC 中比表现最佳的基线提高了 13.9%,在 PLCC 中提高了 12.3%。对于代理到源编辑恢复,C2E-S2SER 在 SPPE 上的所有 8 个源完整性和编辑一致性指标上均优于 SOER。