两个温度的故事：从扩散语言模型中进行简单、高效和多样化的采样

在为扩散语言模型 (dLLM) 设计快速、准确的采样方面已经做了很多工作。然而，这些努力主要集中在单个样本的速度和质量之间的权衡；如何进一步确保样本之间的多样性仍然不太清楚。在这项工作中，我们证明了可以通过使用熟悉的基于置信度的重新屏蔽启发式的软化版本来增加多样性，保留其计算优势并提供简单的实现。我们通过引入分叉词元的理想化形式模型并研究重新屏蔽对分叉预期熵的影响来推动这种方法。根据经验，所提出的调节启发式方法缩小了现有基于置信度的采样和自回归采样之间的探索差距（pass@k），因此在控制成本时（pass@NFE）优于两者。我们进一步研究多样性的增加如何转化为下游 后训练 和测试时计算扩展。总的来说，我们的研究结果表明，从 dLLM 中进行简单、高效和多样化的抽样是可能的。