扩散模型中不会发生良性过度拟合

良性过度拟合和双重下降已经形成了我们对深度学习泛化的理解，证明过度拟合不仅与良好的泛化兼容，而且可以积极地使其受益。扩散模型共享标准深度学习的大部分机制，因此很自然地假设它们也表现出这些属性。在这项工作中，我们表明这种假设在很大程度上是错误的。我们首先建立了基本不可能的结果，表明除非样本量随数据维度呈指数增长，否则过度拟合和良好的泛化不可能同时发生。因此，人口损失在模型复杂性方面遵循经典的 U 形曲线，而不是呈现双下降。通过分析简化的设置，我们确定了回归和分数匹配之间的关键区别：回归受益于目标和经验协方差之间的对齐；分数匹配不承认这种对齐，导致过度拟合造成不可挽回的危害。我们进一步确定了源自分数的时间平滑性和训练期间提前停止的隐式正则化作为防止这种过度拟合的机制，并通过高维图像生成实验验证了我们的发现。我们的结果表明，扩散模型的泛化受到不同于传统回归的机制的控制，从而推动了新理论的发展。