离散扩散语言模型的平均场并行解码

离散扩散语言模型支持并行词元生成，提供低延迟解码的途径。然而，通过边际置信度独立选择词元限制了有效的并行性：当同时更新多个位置时，孤立地看起来可靠的词元可能会形成不兼容的配置。我们引入了一个 无需训练 解码框架来协调这些并行更新。在每次前向传递时，该方法都会为每个屏蔽位置分配一个提交分数，并使用从模型的预测分布导出的成对交互来细化这些分数。变分松弛产生简单的定点更新，抑制单个前向传播中相互冲突的同时承诺。这种机制允许解码器并行提交更多词元，同时保持有竞争力的生成质量。该方法是轻量级的，不需要辅助模型或重新训练，并且无需修改即可投入现有的扩散解码管道。推理和代码生成基准的实验表明，质量与延迟之间的权衡得到了持续改进。