重尾有助于扩散吗？关于初始化和训练之间的微妙权衡

最近的工作提出将重尾（HT）噪声合并到基于扩散和流的生成模型中，目的是更好地恢复目标分布的尾部并提高生成多样性。这种动机很直观：如果数据是重尾的，HT 噪声可能会比轻尾 (LT) 高斯噪声显得更匹配。然而，用 HT 噪声代替高斯噪声也会改变潜在的估计问题。在本文中，我们通过理论和实证相结合的研究重新审视了这一范式，为 HT 和 LT 噪声驱动的两个代表性扩散模型建立了采样误差界限。我们表明，HT 噪声使统计估计问题变得更加困难，从而导致采样误差范围变得不太有利。我们通过对合成数据集和真实世界数据集的实验来支持这些发现，凭经验恢复预测的误差权衡。我们的结果对生成建模中日益增长的设计趋势提出了质疑，并对使用 HT 噪声来改进稀有区域探索提出了挑战。