通过发散诱导加权去噪的鲁棒扩散模型

我们证明，用 f 散度引起的非线性变换替换扩散模型中的标准 MSE 去噪损失会产生一个简单的鲁棒训练替代项，该替代项可以凭经验提高数据污染下的性能，并且只需少量额外的计算开销。理论基础基于局部散度构造：在 DDPM 的高斯逆核结构下，每一步似然比遵循由标量失配参数化的对数正态分布，因此每一步的条件 f 散度减少为去噪误差的一维函数。对这些局部散度求和产生一个训练目标，该目标将扩散训练统一为散度引起的加权去噪，其中引起的散度的导数充当控制每个样本的贡献的残余空间影响权重。有界影响散度（Hellinger，负指数）抑制大误差样本，Hellinger 产生显式指数权重，将框架与稳健的 M 估计连接起来。根据经验，在 30% 污染的 CIFAR-10 上，NED 将 FID 从 93.0 (KL) 降低到 77.5，同时也优于标准鲁棒损失，例如 Huber 和削波 MSE。