COVERT 将协变混淆扩展到视觉语言模型隐私推理

视觉语言模型出现后，云端推理服务中的敏感视觉提示泄露，引发重要隐私担忧。现有防御往往牺牲效率或模型效用来获得隐私保障。协变混淆近期在大语言模型隐私推理中显示潜力，但尚不兼容跨模态架构与任务。我们提出COVERT，首个实用的视觉语言模型隐私保护推理框架，针对多模态架构适配协变混淆。具体而言，通过精确架构重参数化，稳健混淆视觉特征以抵御直接反演攻击；同时结合面向隐藏状态反演攻击的、兼顾效用的定制参数微调，在隐私、效用和效率之间取得平衡。广泛评估显示，COVERT有效保护敏感视觉属性，使其免遭隐藏状态反演；在主要基准上平均准确率下降低于3%，并保持高推理吞吐量，额外开销低于6%。