论文
TACG:用于扩散语言模型解码的轨迹感知提交门控
TACG: Trajectory-Aware Commit Gating for Diffusion Language Model Decoding
摘要
扩散语言模型 (DLLM) 通过迭代地对屏蔽位置进行去噪来生成文本,从而揭示预测分布的轨迹而不是单个瞬时信念。大多数现有解码器忽略此轨迹并仅从当前快照提交词元,将置信度与承诺准备情况混为一谈:可以锁定不完整上下文下的瞬态 top-1 峰值,而具有一致跨步支持的候选者则被延迟。我们提出了轨迹感知提交门控(TACG),这是一种 无需训练 门级解码器,它将词元身份锚定到基本后验,并仅使用轨迹感知信号来决定当前提案是否准备好提交。 TACG 结合了时间隐式 logits 指导 (TILG),它保留过去 logits 的指数移动平均值作为自我参考,并将当前 logits 与自然参数空间中的参考进行对比,以及历史门 (HG),在承诺之前强制执行短期提案持久性。与有上限的额外促销预算一起,这些组件产生了稳定性受限的提交规则,无需辅助网络或额外的前向传递。我们在 LLaDA、Dream 和 LLaDA2-Mini 上跨代码(HumanEval、MBPP)和数学(GSM8K、MATH500)基准评估 TACG;它通常会提高或保持准确性,同时减少去噪步骤并增加每个转发的词元(TPF)。该代码可在 https://github.com/Clarence-CV/TACG-DLLM 上公开获取。