论文
迈向高效推理：学习扩散语言模型的因果捷径
Towards Efficient Reasoning: Learning Causal Shortcuts for Diffusion Language Models
摘要
扩散语言模型（DLM）因其强大的推理能力而受到广泛关注。然而，在双向注意力机制下，与自回归模型 (ARM) 相比，DLM 在指数级大的探索空间上运行，这使得在随机掩码下专注于推理引导标记具有挑战性。我们将因果捷径定义为覆盖整个序列的词元链，并为正确的推理轨迹提供明确的指导。我们分析了因果捷径对 DLM 的推理精度和收敛速度的影响，发现它们很大程度上提高了答案收敛效率和生成精度。受此启发，我们提出了 DLM 的因果捷径学习（CSL）框架。具体来说，我们引入了逐步的标记提取过程，以从数据中提取因果捷径，并在训练期间对这些标记应用并行优先级屏蔽，以便通过因果捷径高效、准确地收敛到正确答案。跨多个推理基准和两个基本模型的大量实验表明，CSL 始终优于现有的 SFT 变体基线，与仅 SFT 模型相比平均提高了 1.92\%$，在 MATH-500 上平均提高了 4.20\%$。该代码可在 \href{此 https URL}{此 https URL