为什么高斯扩散模型在离散数据上失败以及如何预防？

扩散模型已成为连续域生成建模的标准方法，但其在离散数据中的应用仍然具有挑战性。我们研究了为什么使用 DDPM 求解器的高斯扩散模型难以从连续空间中表示为 delta 分布混合的离散分布中进行采样。使用玩具随机层次模型，我们确定了一个关键采样间隔，其中噪声数据的密度变为多峰。在这种情况下，DDPM 有时会进入模式之间的低密度区域，从而产生模型的分布外输入并降低样本质量。我们表明，现有的启发式方法，包括自我调节和我们称为 q 采样的求解器，有助于缓解这个问题。此外，我们证明，在关键间隔内将自调节与从 DDPM 切换到 q 采样相结合可以提高实际数据的生成质量。我们在多个领域（包括文本、编程代码和蛋白质）的条件和无条件任务中验证了这些发现。