递归训练扩散模型的极限分布与谱分析

生成模型对其自身输出的递归训练可能会导致模型崩溃，这是偏离真实数据分布的复合漂移。现有的理论工作将有限轮误差累积限制在扩散模型的背景下，但有两个问题仍然悬而未决：~递归收敛到什么分布，以及有多快？我们回答了这两个问题，隔离了一种与不完美学习不同的机制：即使有完美的得分函数估计和精确采样，反向扩散的早期停止（数值稳定性所需）也会导致逐渐偏离数据分布。我们证明这种递归以几何速率收敛到一个独特的极限分布，该分布允许闭式表征作为数据分布的日益高斯平滑版本的无限混合。该极限的 Hermite 谱分解揭示了递归训练充当低通滤波器：编码精细非高斯结构的高阶模式比粗略模式衰减得更强烈。这种谱分析激发了退火截断时间表，在再训练轮次中逐渐缩短截断时间；我们证明任何收敛到 $0$ 的时间表都会渐近消除递归误差累积。最后，我们证明了我们的理想化特征是稳健的：在存在离散化和得分函数估计误差的情况下，学习到的分布保持在 Wasserstein-2 球中的理想极限附近，并且与模式相关的收缩率比低阶误差更快地收缩高阶误差。我们验证了合成高斯混合和 CIFAR-10 的理论。