早期决策很重要：非自回归扩散语言模型中的邻近偏差和初始轨迹塑造

基于扩散的语言模型 (dLLM) 已成为自回归语言模型的一种有前途的替代方案，为并行标记生成和双向上下文建模提供了潜力。然而，利用这种灵活性进行完全非自回归解码仍然是一个悬而未决的问题，特别是对于推理和规划任务。在这项工作中，我们通过系统地分析 dLLM 沿时间轴的推理动态来研究 dLLM 中的非自回归解码。具体来说，我们发现了基于置信度的非自回归生成中的固有故障模式，该故障模式源于强烈的邻近偏差——去噪顺序集中于空间相邻标记的趋势。这种局部依赖性导致空间误差传播，使整个轨迹严重依赖于初始揭开位置。利用这种洞察力，我们提出了一种最小干预方法，采用轻量级规划器和序列末端温度退火来指导早期词元选择。我们在各种推理和规划任务上彻底评估了我们的方法，并观察到相对于现有启发式基线的显着整体改进，而没有显着的计算开销。