CForce：通过一致性强制增强 dLLM 的并行解码

Diffusion 大语言模型 (dLLM) 通过在单次前向传递中预测多个掩码来加速语言生成。然而，在激进的并行策略下，现有的 dLLM 在早期去噪阶段可能会出现不可靠的预测，从而导致错误传播到后期。为了解决这个问题，我们提出了 dLLM 的一致性强制 (CForce)，这是一种 蒸馏 方法，可强制早期阶段的掩模预测与后期阶段的掩模预测保持一致。 CForce 在预先收集的自身采样轨迹上训练模型，从而提高训练与推理的一致性。我们引入置信度自适应 KL 散度作为 蒸馏 目标，以结合正向和反向 KL 的优点。我们进一步提供了一致性目标的理论分析，以解释为什么 CForce 可以近似最小化早期阶段的预测误差。至关重要的是，相同的公式适用于掩码到词元解码和可编辑解码；在可编辑的情况下，后来的词元到词元的改进为早期的屏蔽状态预测提供了额外的监督。对不可编辑和可编辑的 LLaDA 模型进行的实验表明，速度与质量之间的权衡得到了改善，特别是在高并行解码预算下。代码位于：https://github.com/inclusionAI/dFactory。