从边缘到关节的门票：扩散语言模型中用于一步块生成的耦合噪声 蒸馏

扩散语言模型 (dLLM) 并行预测块的所有标记，但单个前向传递从其自己的边缘分布中对每个位置进行采样，因此标记不需要形成连贯的块。我们询问当离散掩码模型的掩码嵌入受到采样的高斯噪声场扰动时，它是否可以一次性提交整个块​​：相同的噪声应该给出相同的相干连续，不同的噪声应该给出不同的连续。我们提出了 CONDOR（Coupled-Noise 蒸馏 for One-Step Readout），它从头开始训练这样的模型，无需目标端编码器或自回归教师。训练结合了两个信号。在真实文本上，该模型在多个噪声样本下预测屏蔽标记，并且仅通过最适合 真值 的样本进行监督，因此不同的噪声可以专门针对不同的延续。对于其余样本，该模型在相同的固定噪声下通过多个解码步骤完善其自己的单通道预测，然后将精炼的块提炼回单通道。在受控的 TinyStories 设置中，此配方会产生随噪声变化的连贯单遍延续，无论是对于单个块还是对于块因果变体（当块相继生成时）。