论文

从测量到缓解:通过线性子空间去除来量化和减少图像表示编码器中的身份泄漏

From Measurement to Mitigation: Quantifying and Reducing Identity Leakage in Image Representation Encoders with Linear Subspace Removal

模型评测安全与风险评测

摘要

冻结的视觉嵌入(例如 CLIP、DINOv2/v3、SSCD)增强了检索和完整性系统的能力,但它们在包含人脸的数据上的使用受到无法测量的身份泄漏和缺乏可部署缓解措施的限制。我们采取攻击者意识的观点并做出贡献:(i)视觉嵌入基准,以低错误接受率报告开放集验证,校准的基于扩散的模板反转检查,以及具有等面积扰动的面部上下文归因; (ii) 提出一种一次性线性投影仪,它删除估计的身份子空间,同时保留实用所需的补充空间,为简洁起见,我们将其表示为身份清理投影 ISP。在 CelebA-20 和 VGGFace2 中,我们表明这些编码器在开放式线性探针下具有鲁棒性,其中 CLIP 表现出比 DINOv2/v3 和 SSCD 相对更高的泄漏,对模板反转具有鲁棒性,并且是上下文主导的。此外,我们还表明 ISP 可以驱动接近机会的线性访问,同时保留较高的非生物识别效用,并且跨数据集传输时性能下降较小。我们的结果建立了第一个攻击者校准的非 FR 编码器的面部隐私审计,并证明线性子空间去除实现了强大的隐私保证,同时保留了视觉搜索和检索的实用性。