论文
生成常微分方程中积分误差的空间传输
Spatial Transport of Integration Error in Generative ODEs
摘要
经过训练的流或扩散模型通常只需要几个求解器步骤即可运行,并且由此留下的积分误差在图像中分布不均匀。我们询问该错误在哪里注入以及它如何到达端点,并用经过签名的几步集成错误的源和传输核算来回答,并进行一阶测试。在 256^2 分辨率下对五个模型进行的扰动实验表明,学习到的动力学广泛传播了局部扰动:在采样开始附近,不到 10% 的端点响应总和仍保留在源处。有符号的一步截断残差,通过模型自身的线性化动力学传播,重建了大部分端点误差的方向和区域结构(余弦 0.81-0.87),并且区域的误差更多地归因于来自其他地方的误差,而不是其自身的注入。破坏结构的空值,在评估之前冻结协议,找到携带帐户的内容:随机贡献符号将其减半,并重新分配接收每个贡献的区域,在内容、规范和符号完好无损的情况下,将其完全摧毁。注射的着陆位置可以从模型本身读取。其速度或预测场沿轨迹的变化(训练过程中出现的一种结构)可预测最终的每个区域间隙(精细轨迹上的图像内 rho 为 0.57-0.70,仅从廉价求解结果来看较弱)。该预测是部分的,因为端点误差不仅取决于注入的幅度,还取决于其符号、时间和通过学习动态的传输。对注入变量的训练惩罚会降低几步误差,因此该结构是模型可以通过训练来改变的结构。