论文
聚焦核心：自我对比赋能扩散 大语言模型
Focus on the Core: Empowering Diffusion Large Language Models by Self-Contrast
摘要
Diffusion 大语言模型 (DLM) 的迭代降噪范式赋予它们在全局上下文建模中的明显优势。然而，当前的解码策略未能利用这种能力，通常表现出局部偏好，忽略了上下文中的异构信息密度，最终降低了生成质量。为了解决这一限制，我们系统地研究了高信息密度（HD）词元，并提出了两个关键发现：（1）显式调节 HD 词元可显着提高输出质量； (2) HD 词元表现出早期解码趋势，比周围词元更早收敛。受这些发现的启发，我们提出了 Focus on the Core \textbf{(FoCore)}，这是一种 无需训练 解码策略，它以自对比的方式利用 HD 词元，其中 HD 词元被暂时重新屏蔽为负样本，以指导生成。我们进一步引入了 FoCore\_Accelerate \textbf{(FoCore\_A)}，这是一种有效的变体，在检测到 HD 词元收敛时，对本地上下文窗口内的稳定候选者执行并行解码，从而大大加速生成。关于数学、代码和逻辑推理基准的大量实验表明，FoCore 持续提高了 LLaDA 和 Dream 主干网的生成质量和效率。例如，在 HumanEval 上，与标准无分类器指导相比，FoCore 将 pass@1 从 39.02 提高到 42.68，而 FoCore-A 将解码步骤数减少了 2.07 倍，并将每个样本的延迟从 20.76 秒减少到 8.64 秒 (-58.4\%)。