置信度捷径：掩码扩散模型的一种推理失效模式

掩码扩散语言模型（Masked Diffusion Model，MDM）独有地支持任意顺序生成，基于置信度的解码目前是事实上的标准推理策略。为针对这一策略进行优化，近期的训练方案试图让训练时的掩码模式直接对齐生成时观察到的模式。然而我们认为，基于置信度的解码与复杂推理所需的逻辑流轨迹存在天然错位，而置信度对齐训练会进一步固化这种错位。我们以多位数加法将这一点具体化：解码策略会在解析长程依赖之前过早预测局部容易的数位，在困难输入上产生高置信度错误。传统随机掩码在这个困难尾部上保持较低失败率，而置信度对齐训练使错误率放大了一个数量级。在五个不同的推理任务上，同样的模式以任务相关的严重程度出现：基于置信度的解码在高度复杂的输入上诱发失败，而置信度对齐训练使之加剧。相比之下，随机掩码尽管被认为低效，却稳健地保留了解决困难尾部所必需的推理轨迹条件分布。