论文
沿前向扩散的评分精度并不能证明扩散采样中的数值稳定性
Score Accuracy Along the Forward Diffusion Does Not Certify Numerical Stability in Diffusion Sampling
摘要
分数匹配控制前向边缘下的平均误差,但离散逆时采样器沿着其自己的轨迹评估学习的分数。我们表明,小的前向边缘误差并不能保证数值稳定性。我们构造一个具有任意小的前向边际 $L^2$ 误差的单个平滑得分场。学习到的逆时过程是非爆炸性的,具有每个阶的矩,并且可以任意接近路径空间总变分中的精确逆时过程。然而,它的欧拉-丸山离散化在概率上收敛,而每个正矩都发散。因此,即使每个 Wasserstein 距离 $W_p$、$p\ge1$ 发散,弱收敛也可以保持。同样的故障也可能发生在一种固定的有限神经架构中。我们构建了一系列有界的全局 Lipschitz 降噪器,其前向边际误差和路径空间总变化距离都趋于零,而它们的 Euler-Maruyama 端点在每个 $W_p$ 中发散。对于紧凑支持的数据,我们还给出了简单的正结果。将学习到的降噪器投影到包含支持的已知有界闭凸集上可以保留点精度,给出网格均匀矩边界,并在温和的局部正则性下产生 Wasserstein 收敛。使用小型固定 DiT 型网络进行的实验表明,沿着罕见的数值轨迹有较大的增长,并且通过降噪器投影对其进行抑制,而总体轨迹误差仍然很小。