STDec：dLLM 的时空稳定性引导解码

扩散 大语言模型 (dLLM) 取得了快速进展，被视为自回归范式的有前途的替代方案。然而，大多数 dLLM 解码器仍然采用全局置信度阈值，并且不会根据相邻解码状态或跨步骤的预测词元 ID 的时间一致性对局部上下文进行显式建模。为了解决这个问题，我们提出了一种简单的时空稳定性引导解码方法，称为 STDec。我们在 dLLM 解码中观察到很强的时空稳定性：新解码的标记往往位于已解码的邻居附近，并且它们的预测 ID 在多个去噪步骤中通常保持一致。受这种稳定性的启发，我们的 STDec 包括空间感知解码和时间感知解码。空间感知解码通过聚合附近词元的解码状态来动态生成词元自适应阈值。时间感知解码放宽了预测词元 ID 在去噪步骤中保持一致的词元的解码阈值。我们的 STDec 是 无需训练，并且仍然与基于缓存的加速方法兼容。在文本推理和多模式理解基准测试中，STDec 显着提高了吞吐量，同时保持了可比的任务性能分数。值得注意的是，在使用 LLaDA 的 MBPP 上，STDec 在相当的分数下实现了高达 14.17 倍的加速。主页：https://yzchen02.github.io/STDec。