CoDR：无需训练的扩散语言模型置信漂移重掩码

掩码扩散语言模型（MDLM）通过重复将Token提交到掩码位置来进行解码，但这些承诺通常是不可逆转的。在稀疏、部分上下文中选择的标记保持固定，即使后来的上下文不再支持它。现有的采样器主要决定何时提交Token，但很少检查是否仍应保留已提交的Token，从而导致早期错误传播。我们将此问题追溯到置信度漂移，即模型对已提交Token的置信度从稀疏的提交时上下文下降到稍后可用的更密集的上下文。基于该信号，我们提出了 CoDR（置信漂移重新屏蔽），这是一种免训练且与采样器无关的细化过程。 CoDR 通过 k 分区探测仅在 k 次前向传递中估计所有已提交位置的漂移，然后仅重新屏蔽并重新生成模型不再认可的Token。在两个主干网、四个推理和编码任务以及三个基本采样器中，CoDR 提高了所有评估的模型采样器配置的平均准确性，并以适度的开销改进了大多数单独的任务设置。对照实验表明，收益来自有针对性的置信漂移重新屏蔽，而不是单独的额外计算，并且 CoDR 使用的前向传播比以前的重新屏蔽方法要少得多。代码可在 https://github.com/YueWu0301/CoDR。 获取