NAVIRA：用于屏蔽扩散语言模型的解耦随机重屏蔽

屏蔽扩散语言模型通过并行地迭代地揭开许多标记来生成文本，但这种速度带来了校正问题：同一步骤中生成的标记是根据边缘分布预测的，早期的局部依赖性错误可能会在以后污染上下文。 PRISM 通过学习 词元级 质量分数和重新屏蔽不可靠的词元来解决这个问题，但它的推理规则是耦合的：相同的前向传递既检测低质量词元又计算 logits 来替换它们，因此错误的词元仍然会影响重新生成。我们提出 NAVIRA，一种推理时间解码策略，它将这两个操作分开并随机重新屏蔽位置样本。第一次前向传递得分词元；选定的标记被屏蔽；第二次前向传播从清理后的上下文中重新生成。温度控制的重新掩蔽减少了对相同位置的重复校正，并平衡了流畅性和多样性。在使用 170M 掩码扩散语言模型的对照实验中，解耦提高了流畅性，而预定的随机重新掩码保留了熵，并在较大的前向传递预算下实现了更强的 LLM 判断分数。这些结果表明，重新屏蔽策略（不仅仅是学习到的质量信号）对于可靠的屏蔽扩散文本生成至关重要。