论文

实现之前的承诺:当无分类器指导在掩码扩散语言模型中变得不必要时

Commitment Before Realization: When Classifier-Free Guidance Becomes Unnecessary in Masked Diffusion Language Models

模型推理解码与生成控制

摘要

无分类器指导(CFG)通常在整个掩蔽扩散语言模型解码过程中保持不变,尽管它的好处因提示和时间而异。我们通过比较任何部分输出在连续 CFG 和仅基连续下最终约束满足的概率来研究何时实际需要 CFG。它们的差异决定了指导的剩余价值。指导依赖是高度特定于提示的。许多提示在没有 CFG 的情况下已经取得了成功,而对于其他提示来说,它没有提供可衡量的好处或可能有害。对于确实有益的提示,收益通常集中在早期。我们将承诺范围 $\astar$ 定义为最早的点,从该点将所有剩余解码切换到基本模型会使最终成功率降低不超过选定的容差。在基本模型下,相应的成功概率或提交者是鞅。对于第一顺序,CFG 的每步效果由指导 logits 方向和后继提交者之间的协方差控制。这给出了指导何时可以提供帮助的本地说明,但它本身并不能确定地平线。在具有观察到的前终值范围的提示中,$\astar$ 通常较早,并且在约束族内的变化比它们之间的变化更大。在预先指定的边际上,将每个提示冻结在其自己的交叉拟合范围内并不逊色于所有 13 个子任务的完整 CFG,即使许多标记仍然被屏蔽。这将承诺与实现分开。该边界还标识了稍后的区域,其中较高的并行性仅在约束成功方面增加了很小的成本,尽管流畅性仍然随着并行宽度而降低。对于失败的轨迹,重新打开已提交的位置可以改善两种失败模式下的恢复。