通过 推测解码 进行分解无错误离散扩散语言模型

离散扩散语言模型通过并行标记预测提高生成效率，但标准 $X_0$ 预测方法通过使用独立的标记分布来近似干净标记后验，从而引入因式分解错误。本文提出了因子分解无误差离散扩散语言模型（FeF-DLLM），它用干净后验的精确前缀条件因子分解取代了独立的干净词元预测，以更好地保留词元依赖性。为了减少前缀调节引入的顺序成本，FeF-DLLM 进一步将 推测解码 纳入扩散降噪中，加速推理，同时保持 DLLM 的并行预测和重新屏蔽特性。从理论上讲，我们证明了 FeF-DLLM 是根据真实的关节分布生成的，并推导出其期望的加速比。在 GSM8K、MATH、HumanEval 和 MBPP 上的实验表明，我们的方法将准确度平均提高了 5.04 个百分点，同时实现了平均推理加速 $3.86\times$。