CoCommit：扩散语言模型中的词元联合确定

扩散语言模型在每个去噪步骤中，通常从共享上下文独立解码多个选中位置，然后确定这些词元。位置之间存在依赖时，这种分解会产生可由条件总相关性描述的误差；仅凭边际概率的置信度选择无法推断该误差。CoCommit延后确定词元：先按通常方式选出待写入位置，再用学习得到的标记识别该集合，重新运行骨干最后n层协调这些位置，最后以贪婪argmax写入词元。方法近似联合模式解码，复用原有权重，只需一次部分前向计算，不引入辅助模型。在带LoRA适配器的LLaDA 2.1贪婪推理中，相比已发布的独立分解解码器，七项基准中五项改善，代码和推理任务收益最大，其余基本持平。