细化离散扩散语言模型的漂移目标

离散扩散语言模型（DDLM）通过迭代地对分类标记序列进行去噪来生成文本，而最近的连续生成器漂移方法表明，部分采样时间校正可以通过反对称定点目标吸收到训练中。我们研究如何将这一原理转移到 DDLM，其中主要挑战是与离散文本的接口：硬词元样本是不可微分的，并且分类预测不直接提供连续样本进行漂移。我们制定了 TokenDrift，这是一个漂移目标，它将分类预测提升为软词元特征，在冻结语义空间中应用反对称漂移，并将所得的停止梯度特征目标反向传播到 DDLM logits。在使用屏蔽和均匀状态扩散主干的受控连续训练实验中，TokenDrift 比匹配的连续基线提高了固定 NFE 生成质量，在 MDLM 上将 4 个 NFE 的 Gen.-PPL 降低了 89%，在 DUO 上降低了 86%。这些结果表明漂移可以为 DDLM 提供实用的细化目标。