屏蔽语言流模型

掩蔽扩散模型 (MDM) 承诺快速、并行的语言生成，但它们的反向转换会跨词元位置进行因子分解——这种近似在并行生成应提供最大效率增益的几步采样机制中会崩溃。流语言模型（FLM）通过学习连续流来避开这一限制，该连续流将噪声传输到欧几里得空间中表示的干净序列，从而产生可以蒸馏以进行单步生成的流图。然而，这使得需要多步推理的复杂任务对于 FLM 来说是个问题，因为 FLM 被迫在生成过程中解码每个词元。为了解决这个问题，我们引入了掩码语言流模型（MLFM），它使用连续随机插值将掩码合并到 FLM 中，以桥接部分掩码和干净的序列。这种设计可以通过连续流进行条件生成，并允许通过简单、轻量级的调整将预训练的 MDM 转换为 MLFM。利用这种灵活性，我们提出了一种新颖的采样器，它可以将连续去噪与置信标记的离散揭露交替进行，以更好地支持多步推理。我们在 GSM8K 和 MT-Bench 上评估了我们的方法，并首次发现基于流的语言模型可以扩展以解决下游推理和指令跟踪任务。