论文
Face-Trace:合成面部生成器的开放集归因和渐进发现
Face-Trace: Open-Set Attribution and Progressive Discovery of Synthetic Face Generators
摘要
生成人工智能的最新进展使合成人脸图像变得越来越真实,为多媒体取证带来了新的挑战。当来源已知时,来源归因方法应该识别图像的生成者,但也可以处理由看不见的模型生成的样本。然而,大多数现有方法都是在封闭环境中解决合成人脸归因问题,假设测试样本只能来自训练期间观察到的生成器。这种假设在现实场景中并不成立,在现实场景中,新的生成器不断出现,并且将图像检测为未知是不够的,因为被拒绝的样本还应该根据其潜在来源进行组织。我们引入了 Face-Trace,这是一个开放集合成人脸源归因的管道,它结合了已知的生成器分类、基于能量的拒绝和未知的生成器发现。在冻结的 I-JEPA 嵌入上训练的分类器会赋予已知生成器属性,而被拒绝的样本则通过将投影的 I-JEPA 特征与互补的取证跟踪相结合来表示,并进行分组以识别由未知生成器生成的连贯样本集。我们还将发现阶段扩展到增量场景,其中被拒绝的样本随着时间的推移到达。在 WILD 数据集上的实验显示,闭集归因准确度为 96.73%,而拒绝达到 71.25% 的平衡准确度,并且被拒绝的样本被聚类成有意义的未知生成器组,调整兰德指数为 0.81,归一化互信息为 0.90,总体纯度为 87.74%。在增量设置中,发现的生成器空间逐渐扩展,同时保持最终纯度为99.23%,跨数据集实验表明管道可以在原始数据分布之外运行。