隐藏在视线中：视觉语言模型中基于扩散的地理位置隐私泄露缓解措施

多模态大型推理模型（MLRM）在复杂的视觉理解方面表现出了卓越的能力。然而，这种能力本身带来了一个关键但尚未充分研究的隐私威胁：对手可以利用 MLRM，通过对建筑风格、植被和照明条件等微妙的视觉线索进行结构化推理，从随意共享的照片中精确推断用户的地理位置。在这项工作中，我们对 MLRM 驱动的地理位置隐私泄露进行了系统研究。我们首先揭示基于拒绝的保障措施严重不足，因为精心设计的越狱提示可以将模型响应率提高到 100%。我们进一步发现，现有的防御措施将难以察觉的扰动注入共享图像，受到像素空间优化固有的结构限制，导致黑盒可转移性下降和明显的视觉伪影。受这些发现的启发，我们提出了一个基于扩散的框架，该框架提供有针对性的主动防御，防止地理位置隐私泄露。通过在反向采样期间将扰动注入扩散模型的潜在空间，我们的方法直接对高级语义表示进行操作，从而通过构造解决了有效性-实用性瓶颈。我们进一步使用 GeoCLIP（一种与 GPS 坐标明确对齐的模型）进行优化，作为精确定位和破坏 MLRM 用于位置推断的地理信号的替代方法。这种有针对性的语义破坏显着增强了黑盒可转移性，同时保留了感知图像质量，从而提供了社交媒体平台上的无缝集成。