扩散语言模型的稳定性加权解码

Diffusion 大语言模型 (dLLM) 通过迭代地对完全屏蔽的序列进行去噪，在每个步骤中揭露屏蔽标记的子集，从而实现并行文本生成。现有的解码策略依赖于在单个去噪步骤中计算的静态置信度度量，忽略时间历史并且通常导致不稳定标记的过早暴露。在这项工作中，我们从理论上确定了词元的时间不稳定性（通过连续预测分布之间的 KL 散度进行量化）为其与剩余屏蔽上下文的互信息提供了严格的下界，这表明时间不稳定的词元本质上是不安全的。基于这一见解，我们提出了稳定性加权解码（SWD），这是一种 无需训练 即插即用策略，它将时间稳定性纳入词元评分中，并充当任意基于分数的解码策略的通用调制器。代码生成和数学推理基准测试表明，SWD 持续提高了代表性评分指标和选择策略的生成准确性，并表现出卓越的鲁棒性，在不同的加速比下保持了相对于标准基线的显着性能领先。