论文
扩散语言模型何时值得动态调整解码策略
Unmask the State: When Does State Adaptation Matter for Masked Diffusion Language Models
摘要
屏蔽扩散语言模型 (MDM) 允许灵活的生成顺序,从而使揭露策略成为推理决策。现有的方法在如何确定位置优先级、控制并行性、限制选择区域、修改预测或计划未来去噪方面有所不同,但目前尚不清楚这些选择在生成过程中何时应改变。我们通过策略逆转来研究这个问题,即替代行动比固定选择更可取。我们将 MDM 推理组织为五个轴——分数、基数、区域、承诺和规划——并将适应机会定义为最佳候选行动相对于验证选择的固定行动的一步效用优势。这一观点表明,适应价值取决于这种逆转的频率和幅度。在三个 MDM 和十个任务中,适应机会高度异质,一些制度表现出集中且可预测的一步收益。这激发了选择性适应:根据验证提示校准的轻量级检测器可识别高机会状态,例如,通过仅适应 LLaDA-8B 约束 JSON 填充上前 10% 的状态,捕获 56.9% 的候选集预言机机会。我们的转换级别结果表明,有选择地而不是统一应用时,状态适应是最有用的。