论文

3D FaceShell:3D 人脸头像中的属性传输作为 VLM 防御机制

3D FaceShell: Attribute Transfer in 3D Face Avatars as a VLM Defense Mechanism

AI 基础设施AI安全与内容治理基础设施

摘要

逼真的 3D 脸部头像越来越多地作为可重复使用的数字资产部署在远程呈现、动画和个性化媒体等应用中。同时,视觉语言模型 (VLM) 可以通过开放式语义推理从渲染图像中推断出敏感属性,而无需任何 微调。这带来了新的隐私挑战:一旦 3D 面部头像被共享,它的任何渲染都可以被分析以提取高级面部属性。现有的防御主要在 2D 图像空间中运行,并且不解决 3D 面部表示的身份保留语义操作。我们提出了 3D FaceShell,这是一个框架,用于指导从 3D 模型渲染的面部的 VLM 解释,同时保留几何保真度和面部身份。 3D FaceShell 通过可学习的高斯壳增强了原始 3D 表示,该壳可产生通过多视图嵌入对齐优化的微妙的空间分布扰动。这些扰动被设计为视觉上不显眼,但足以以视图一致的方式重定向基于 VLM 的属性推断。对重建名人脸部头像和多个黑盒 VLM 的大量实验表明,3D FaceShell 显着提高了属性注入和错配率,同时保持了较高的感知相似性和身份一致性。我们的结果表明,可以在不影响人类可识别外观的情况下操纵 3D 面部的 VLM 级语义解释。