打破块边界：基于锚的扩散历史稳定解码 大语言模型

扩散 大语言模型 (dLLM) 最近已成为自回归 大语言模型 (ARM) 的有前途的替代方案。半自回归（Semi-AR）解码因其卓越的性能而广泛应用于基础 dLLM 和高级解码策略。然而，我们的观察表明，Semi-AR 解码受到固有的区块限制，这导致许多跨区块稳定词元的解码出现不必要的延迟。为了应对这一挑战，我们系统地研究了稳定词元的识别，并提出了三个关键发现：（1）朴素的前瞻解码不可靠，（2）词元稳定性与收敛趋势密切相关，（3）历史信息是孤立的。基于这些见解，我们提出了基于锚点的历史稳定解码（AHD），这是一种 无需训练 即插即用动态解码策略。具体来说，AHD通过动态锚点实时监控词元的稳定性趋势。一旦词元达到稳定，它就会启动早期跨块解码以提高效率和性能。跨语言、视觉语言和音频语言领域的广泛实验表明，AHD 同时提高了性能和推理效率。值得注意的是，AHD 有效地扭转了现有高级解码加速策略中通常观察到的性能下降问题。例如，在 BBH 基准测试中，我们的方法将解码步骤减少了 80%，同时将性能提高了 3.67%。