论文
重新屏蔽,而不是替换:扩散语言模型中的词元到屏蔽的细化
Remask, Don't Replace: Token-to-Mask Refinement in Diffusion Language Models
摘要
扩散语言模型 (dLLM) 通过迭代去噪生成文本,在每一步填充多个屏蔽位置。在同一步骤中填充的位置是在不以彼此新填充的值为条件的情况下预测的,因此可能相互不一致;一旦保留下来,这些不一致就会成为以后预测的背景。我们引入了 \emph{Token-to-Mask} (T2M),这是一种 无需训练 推理时间校正方法,它使用模型当前标记的概率来识别低置信度位置,重新屏蔽它们,并在后续的去噪步骤中重建它们。在配备校正机制的 dLLM 上,单个 T2M 配置可以跨任务和模型传输,无需重新调整,并且比每个模型的本机校正机制广泛改进任务指标。在受控实验中,我们将校正方法分解为识别可疑标记的检测器和确定如何修改它们的操作。保持探测器固定,重新屏蔽比替换产生更高的任务指标;在测试的检测器-动作组合中,当前词元概率检测与重新屏蔽相结合表现最佳。与直接编辑相比,T2M 可以更有效地将额外的推理计算转化为性能增益,并且在大多数任务中,与自回归逐个词元解码相比,保留了顺序步骤优势。