LUDI：降低离散扩散的均匀性，改善少步生成

尽管统一扩散语言模型（UDLM）代表了一种有前途的扩散范式，但扩展它们仍然具有挑战性。我们认为核心障碍是采样过程中训练目标过于均匀和条件目标混淆。为了解决这些问题，我们提出了一种新颖的 UDLM 框架——Less Uniform Diffusion (LUDI)。具体来说，我们（i）引入了不太均匀的损失，将每个反向转换引导到干净的词元，并且（ii）为模型配备了每个词元时间嵌入，提供词元级损坏提示，从而实现基于置信度的少步采样。跨尺度的实验表明，LUDI 可以产生更清晰的监督并改进少步生成。我们进一步将 7B 自回归模型继续训练为 LUDI-7B，从而形成能够进行复杂推理的 UDLM。与掩模扩散基线相比，它实现了 AR 解码每步 3 个词元的加速，并具有竞争性能，这表明 UDLM 在复杂生成方面的全部潜力仍有待释放。