NI 采样：通过词元阶优化加速离散扩散采样

离散扩散语言模型 (dLLM) 最近成为传统自回归方法的一种有前景的替代方案，提供了以任意顺序生成标记的灵活性以及并行解码的潜力。然而，现有的启发式采样策略仍然效率低下：它们在每一步只选择一小部分词元进行采样，留下了很大的改进空间。在这项工作中，我们研究了词元采样顺序优化问题，并展示了其巨大的加速潜力。具体来说，我们发现在每个步骤中充分利用正确的预测可以在不影响准确性的情况下将采样迭代次数减少一个数量级。基于此，我们提出了神经指示器采样（NI Sampling），这是一种通用的采样顺序优化框架，利用神经指示器来决定每一步应该采样哪些词元。我们进一步提出了一种新颖的轨迹保持目标来训练指标。在多个基准上对 LLaDA 和 Dream 模型进行的实验表明，我们的方法在全步采样上实现了高达 14.3$\times$ 的加速，性能下降可以忽略不计，并且在精度步权衡中始终优于置信阈值采样。代码可在 https://github.com/imagination-research/NI-Sampling 获取。