论文

图像自回归生成的数据来源

Data Provenance for Image Auto-Regressive Generation

模型评测安全与风险评测

摘要

图像自回归模型 (IAR) 最近在视觉内容生成方面表现出了卓越的能力,通过改编自 大语言模型 的下一个词元预测范式实现了逼真的质量和快速合成。随着这些模型的广泛使用,需要可靠的数据来源来可靠地追踪 IAR 生成的图像到合成它们的源模型。这对于防止错误信息传播、检测欺诈和归因有害内容至关重要。我们发现,虽然 IAR 生成的图像在视觉上通常与真实图像相同,但它们的生成过程在其输出中引入了特征模式,这可以作为生成图像的可靠来源信号。利用这一点,我们提出了一个事后框架,可以对此类模式进行稳健检测以进行溯源。值得注意的是,我们的框架不需要修改生成过程或输出。因此,它适用于无法使用现有水印方法的情况,例如对于已经发布而没有附加标记的生成内容以及不集成水印的模型。我们展示了我们的方法在各种 IAR 中的有效性,强调了其在自回归图像生成中强大的数据来源追踪的巨大潜力。