离散扩散语言模型中的依赖引导并行解码

离散扩散语言模型 (dLLM) 通过并行揭露多个标记来加速文本生成。然而，并行解码引入了分布不匹配：它使用每个标记边际的完全因式分解乘积来近似联合条件，当所选标记强烈相关时，这会降低输出质量。我们提出了 DEMASK（DEpendency-guided unMASKing），这是一种轻量级依赖预测器，附加到 dLLM 的最终隐藏状态。在单次前向传递中，它估计屏蔽位置之间的成对条件影响。使用这些预测，贪婪选择算法可以识别具有有限累积依赖性的位置，以同时揭开掩码。在次可加性假设下，我们证明这限制了并行采样和模型联合之间的总变异距离。根据经验，DEMASK 在 Dream-7B 上实现了 1.7-2.2$\times$ 加速，同时与基于置信度和基于 KL 的基线相比，匹配或提高了准确性。