通过可控重采样插值离散扩散模型

离散扩散模型形成了一类跨不同领域（包括文本和图形）的强大生成模型。然而，现有方法面临根本性的局限性。掩蔽扩散模型由于早期揭露而遭受不可逆的错误，而均匀扩散模型尽管能够进行自我校正，但由于强烈依赖于中间潜在状态，通常会产生低质量的样本。我们引入了 IDDM，一种插值离散扩散模型，它通过减少对中间潜在状态的依赖来改善扩散。 IDDM 的核心是可控重采样机制，该机制将概率质量部分重置为边缘分布，减少误差累积并实现更有效的标记校正。 IDDM 指定了一个生成过程，其转换在保持当前状态、从先前状态重新采样和翻转到目标状态之间进行插值，同时强制执行边际一致性并将训练与推理完全解耦。我们将我们的模型与分子图生成和文本生成任务中最先进的离散扩散模型进行基准测试，展示了具有竞争力的性能。