掩码扩散语言模型中的可靠并行解码

掩码扩散语言模型 (MDLM) 可以通过并行预测多个掩码标记来高效生成文本，但来自同一前向传递的预测在一起提交时不一定可靠。我们研究并行承诺何时可靠。我们的诊断表明，仅靠置信度并不能确定可靠的承诺顺序：序列末尾附近的置信预测可以在建立其支持计算之前确定答案，并且随着上游上下文的不确定性增加，下游预测变得不太可靠。同时，单个前向传递已经可以解析多个屏蔽标记，并且在最终层中保持稳定的预测更有可能是正确的。基于这些发现，我们提出了可靠并行解码（RPD），这是一种无需训练的方法，通过分层预测稳定性和最终置信度来选择候选者，并将它们提交到之前屏蔽位置的累积熵预算下。 RPD 推迟具有不确定的上游上下文的预测，同时并行提交剩余的候选者，而不依赖于固定的块调度。在 LLaDA 和 Dream 的数学推理和代码生成基准测试中，RPD 在所评估的方法中实现了最高的解码吞吐量，同时保持或提高了准确性。