DualDiffusion：掩蔽扩散模型的 推测解码 策略

掩蔽扩散模型 (MDM) 通过支持并行标记生成和双向上下文建模，为自回归语言模型提供了一种有前景的替代方案。然而，由于双向注意力而无法缓存键值对，它们的推理速度受到严重限制，每个生成步骤都需要 $O(N^2)$ 计算。虽然 FastDLLM 和 DkvCache 等最新方法通过注意力近似和缓存策略提高了推理速度，但它们以牺牲生成质量为代价来实现加速。我们提出 DualDiffusion，这是一种用于 MDM 的 推测解码 框架，它将快速起草者模型（使用有效的近似）与更慢、更准确的验证者模型相结合。通过运行轻量级绘图器的多个步骤，然后执行单个验证步骤，与现有方法相比，DualDiffusion 在生成步骤和准确性之间实现了卓越的帕累托前沿。我们在 MMLU 和 GSM8K 上评估我们的方法，证明 DualDiffusion 保持高精度，同时减少所需的生成步骤数，有效推动掩蔽扩散语言模型的质量效率权衡曲线。