论文

少即是多:扩散语言模型的互稳定性采样

LESS Is More: Mutual-Stability Sampling for Diffusion Language Models

模型推理解码与生成控制

摘要

扩散 大语言模型 (dLLM) 通过迭代细化屏蔽序列,实现并行词元更新和双向调节,为自回归解码提供了一种有前景的替代方案。然而,它们的实际效率受到采样程序的限制,采样程序执行解码前选择的固定数量的反向降噪步骤,将计算花费在已经稳定的位置上,有时过早地提交不稳定的位置。我们提出了 \textsc{LESS},一个 无需训练 与模型无关的自适应采样器,它将词元承诺视为在线停止问题。 \textsc{LESS} 通过联合稳定性规则实现相互稳定性采样,该规则仅当其 top-1 预测具有高置信度、其 top-1 标记在最近的反向步骤中持续存在、并且其预测分布在 top-$K$ 步间 Jensen-Shannon 散度下保持稳定时,才可以使屏蔽位置有资格揭开。我们在 Dream-7B、LLaDA-8B 和 LLaDA-1.5-8B 上评估 \textsc{LESS},涵盖全序列扩散和半自回归分块采样方案,跨越常识、数学和代码的七个基准。 \textsc{LESS} 比强大的 无需训练 自适应采样器提高了平均精度,同时使用比固定预算解码少 72.1\%$ 的反向步骤。由于每个反向步骤都需要 Transformer 前向传递,因此这些步数减少意味着更少的前向评估、更低的测量挂钟延迟和更低的估计推理计算。