CUPID：重建 UV 纹理图以实现可解释的感兴趣的人深度伪造检测

针对知名人士（即“感兴趣的人”（POI））的 Deepfake 是对现代民主国家和社会的威胁。目前的 POI Deepfake 检测方法仍然难以将后处理的鲁棒性、效率和可解释性结合起来，而这些都是现代 Deepfake 检测器的关键方面。在本文中，我们提出了 CUPID，一种 POI 视频深度伪造检测器，它将 UV 纹理图（一种从 3D 面部重建导出的面部外观表示）与 Masked Autoencoder（MAE）的表示学习功能相结合。我们的方法在训练阶段不需要任何深度伪造视频。此外，它甚至不需要在训练集中包含特定的 POI：从真实视频帧中提取的 UV 纹理图与 MAE 上下文引导重建的组合产生了一个潜在空间，即使对于训练期间看不见的身份，也可以捕获丰富且有辨别力的面部特征。在测试阶段，从描述 POI 的查询视频中提取的嵌入可以与原始参考视频进行匹配，以评估视频的真实性。此外，在紫外线空间中操作自然会提供额外的可解释性。具体来说，我们可以提取解码的残差图，突出显示测试视频的哪些面部区域与相应 POI 的身份表示偏差最大。对四个 Deepfake 数据集的实验表明，CUPID 在大多数数据集上的表现优于当前最先进的技术，并且针对强缩减和压缩实现了最佳的整体鲁棒性，同时还提供了更快的推理速度。我们的实验代码将在 https://github.com/polimi-ispl/CUPID 发布。