DiLaDiff：用于语言建模的蒸馏潜在增强扩散

扩散语言模型本质上无法捕获解码词元之间的相关性，这导致采样质量和吞吐量之间的严格权衡。为了解决这个问题，我们提出了 DiLaDiff，一种掩码扩散语言模型的变体，具有三个组成部分：（1）具有语义功能的连续潜在空间，由从现有掩码扩散语言模型微调的自动编码器学习； (2) 学习编码器分布先验的潜在扩散模型； （3）一致性模型，将学习到的先验提炼成几步潜在生成模型。我们表明，即使没有 蒸馏，我们的潜在引导扩散模型也优于掩模扩散基线，同时显着加速了推理。一致性 蒸馏 进一步降低了连续扩散的计算开销，使得与离散解码相比，潜在的生成时间可忽略不计。