保护可穿戴 VLM 免受私有属性推断的影响

可穿戴 VLM 管道承诺通过以自我为中心的视觉捕获提供持续的多模式帮助：用户提出有关周围场景的任务驱动问题，系统使用紧凑的视觉标记来支持语言推理。推动这项工作的挑战在于，有用的帮助所需的相同的以自我为中心的证据也可以揭示佩戴者或附近旁观者的私人属性。我们将此作为分割 VLM 推理的联合隐私-实用问题进行研究，其中视觉编码发生在受信任的设备边界内，但中间视觉词元可能会传输到下游推理组件。这暴露了一个未被充分研究的泄漏面：即使最终的文本响应是良性的，外部攻击者或不受信任的下游组件也可以从传输的视觉词元中恢复私有属性。为了评估这种紧张关系，我们构建了一个包含 3,221 个图像问题记录的配对隐私-实用基准，每个记录都与一个实用问题和涵盖位置、收入、性别和兴趣的隐私标签配对。我们进一步提出了词元引导属性隐私（TGAP），这是一种 LLM 之前的词元解缠器，可以在视觉词元离开可信边界之前学习视觉词元的残差变换。 TGAP结合了效用保留、身份正则化、语义隐私抑制和图像驱动的表示抑制，避免了粗硬或注意力掩蔽造成的效用损失。在用于源模型评估的基准上，TGAP 将隐私准确性从 56.7% 降低到 7.4%，绝对下降 49.3%，同时将宽松的效用保持在 74.4%。这些结果表明，确保紧凑词元接口的安全是实现保护隐私的可穿戴多模式人工智能的实用途径。