论文

我们需要教授基础模型什么是生成图像?通过分析谱适应进行无梯度生成伪影检测

Need We Teach Foundation Models What is a Generative Image? Gradient-Free Generative Artifact Detection via Analytic Spectral Adaptation

AI 基础设施AI安全与内容治理基础设施

摘要

通过基于梯度的更新来调整基础模型来检测生成伪影会损害其内在表示。在有限样本的优化下,模型过度拟合本地域快捷方式。 微调 对专业数据的大量权重会引入错误的归纳偏差,从而在高维特征空间中引起可测量的 $\mathcal{L}_2$ 范数扰动 - 我们将这种现象形式化为锚点漂移。通过非线性激活放大,这种漂移会损害跨未知域的零样本伪造检测。我们提出了一种无梯度方法,将检测从二元分类重新构建为分布外(OOD)异常测量问题。将冻结的基础模型视为稳定的坐标系,我们通过分析解耦统计和语义偏差,在真实视觉流形上建立绝对的自然锚,这些偏差源自注意力加权空间矩和感知不一致的正交投影。在极端的零样本设置中进行评估(在面部伪造上进行训练,在通用文本到图像生成上进行测试),我们的方法显着优于梯度优化范例。无反向传播的前向传递和线性求解器可实现与硬件无关的、可边缘部署的校准,并具有最小的延迟。此外,谢尔曼-莫里森公式解锁了针对新型攻击的即时在线学习,并通过协方差增量传输实现保护隐私的联合协作。