论文
Anti-Persona：破坏个性化视觉中未经授权的身份绑定和识别——语言模型
Anti-Persona: Disrupting Unauthorized Identity Binding and Recognition in Personalized Vision--Language Models
摘要
少样本个性化使大型视觉语言模型 (LVLM) 能够学习用户特定的视觉概念，用于个性化检索和主题感知查询等应用。然而，它也带来了隐私风险：对手可以从一些参考图像中绑定目标身份，然后通过自然语言查询在新图像中检测该身份。我们推出 Anti-Persona，这是一种图像级防御，可防止个性化 LVLM 中未经授权的身份绑定和识别。我们的主要见解是，身份个性化依赖于多个参考图像共享的视觉特征。我们将这些特征聚合到一个身份原型中，并优化视觉上微妙的扰动，这些扰动会破坏视觉编码器空间中的原型对齐。空间平滑和低频保留进一步提高了视觉保真度和图像压缩的实际弹性。由此产生的保护不依赖于特定提示，并且支持主动式反个性化和被动式图像保护。对两个代表性个性化 LVLM 进行的实验表明，保护率高达 $95.0\%$，同时保持视觉保真度。该方法在提示变化和评估的身份查询任务中保持稳定，并改进了编码器不匹配情况下的黑盒传输。