论文
本地提交，全局退出：协调扩散语言模型中的自适应采样和早期退出
Commit Locally, Exit Globally: Coordinating Adaptive Sampling and Early Exit in Diffusion Language Models
摘要
扩散语言模型在每个去噪步骤中公开临时预测，并且在许多任务中，其中的候选答案在步骤计划耗尽之前稳定下来。这创建了两个加速机会，提前离开块并提前停止序列，但这两者需要不同的标准，因为块加速是局部的，而序列终止是全局的并冻结分级答案。现有方法通常仅优化一个轴，并且现有出口门依赖于固定区域置信度或依赖于时间表的规则，而不是候选答案本身。我们提出 $\textbf{C}^4$，它通过为每个决策提供自己的门来协调两个轴。 $\textbf{C}$onfidence-验证提前退出 (CVEE) 决定序列何时可以停止，需要在每一步重新提取的候选跨度上有信心和持续的 argmax 稳定性。 $\textbf{C}$ommit-$\textbf{C}$ore-Then-$\textbf{C}$onfirm (CCTC) 通过在每个块内借用自回归冻结顺序来决定步骤可以提交哪些词元位置：它提交一个边界锚定核心并在一步后确认延迟位置，因此可以加速答案块，而无需允许答案范围内的本地提交来确定序列级终止。在使用 LLaDA 和 Dream 的 12 个零样本任务中，一种冻结配置消除了 64--95% 的解码步骤，并与完整解码相比，测得的端到端加速为 2.6 至 8.6。代码可在 https://github.com/ming053l/C4-dLLM 获取。