缩小扩散模型的分数匹配差距

扩散模型 (DM) 是一种最先进的生成方法，可从未知分布中进行近似采样。他们的训练和评估主要依赖于证据下界 (ELBO)，它将模型样本的 Kullback-Leibler (KL) 散度与路径上的分数匹配损失相关联，作为易于处理的替代项。样本质量与此界限产生的分数匹配损失之间的差异导致 \emph{分数匹配差距}，已知在最坏情况下该差距很紧，但通常不能描述样本质量。在这项工作中，我们对这一差距进行了理论分析，为三个指标制定了更严格的界限：KL 散度、反向 KL 散度和 Wasserstein 距离，有效地利用了分数估计器类别的规律性。我们的结果表明，分数近似的质量对于缩小低噪声量表的分数匹配差距具有更大的影响。为了获得这些界限，我们的关键技术见解是利用后向过程的收缩特性。特别是，我们依靠熵流、对数 Sobolev 不等式和反射耦合，将 Langevin 扩散的遍历性与分数匹配差距问题严格联系起来。