重新思考块扩散语言模型的生成顺序

扩散语言模型可以实现灵活的任意顺序生成，但现有的采样方法大多是为早期掩模扩散模型（MDM）设计的。在这项工作中，我们研究了最近的块扩散语言模型（BDLM）的采样。我们通过经验和分析表明，这些模型自然比 MDM 更符合从左到右的解码。基于这一观察，我们提出了并行自回归解码（PARD），这是一种简单的 无需训练 采样方法，它保留从左到右的揭开结构，同时允许并行词元提交。大量实验表明，PARD 在生成质量方面始终优于现有的并行采样器，同时比纯 AR 解码实现了大幅加速，且质量差距很小。