前缀去噪一致性：扩散语言模型的测试时验证

扩散语言模型 (DLM) 最近与自回归 (AR) 模型的竞争越来越激烈，甚至在某些任务上优于自回归模型。与 AR 模型不同，DLM 通过迭代去噪生成输出，无需从左到右的顺序。为了进一步提高 DLM 的性能，我们引入了 PDC（\emph{Prefix-Denoising Consistency}），一种 DLM 的测试时自我验证方法。 PDC 在前缀条件再生下利用 DLM 中独特的测试时间信号，正确的轨迹比错误的轨迹更稳定且可重复。具体来说，给定最初生成的样本，PDC 在中间位置分割句子并重新生成以固定前缀为条件的剩余标记。在数学推理和常识推理基准中，PDC 不断改进初始样本，在计算约束比较下优于独立生成，并且对不同的揭露策略和参数设置具有鲁棒性。这些结果强调了前缀条件再生作为测试时验证的有效 DLM 特定原语。