统一独立生成条件比较连续扩散语言模型与投机草稿架构

连续扩散语言模型 (CDLM) 和推测解码草稿模型提供高效的语言生成，但通常评估方式不同：CDLM 通过迭代细化独立生成，而草稿模型提出文本以进行目标模型验证和纠正。我们在没有验证的情况下比较了他们的架构，使用 LangFlow 进行 CDLM，并采用 DSpark 的马尔可夫和循环头架构进行独立生成。所有模型均从头开始训练，以实现长度为 16、128 和 1024 的无条件、单块 OpenWebText 生成，无需目标特征或验证，使用通用预处理、主干维度和训练更新预算。我们使用外部语言模型评估生成困惑度 (GenPPL)，并使用 MAUVE 评估与参考文本的分布相似性。默认去噪步骤等于序列长度，LangFlow 在长度 128 和 1024 的两个指标上都优于 DSpark 变体，而 DSpark-RNN 在 16 处领先。条件 KL 分析描述了马尔可夫头的仅以上一个token为条件的建模方式排除的依赖性。循环记忆消除了这一限制并改善了这两个指标，但较长序列的差距仍然存在。教师概率匹配进一步降低了马尔可夫 GenPPL，而没有观察到 MAUVE 增益。以固定权重增加 LangFlow 的去噪步骤可以改善长度 16 和 128 的指标，从而改变相对于 DSpark-RNN 的长度 128 排序。这些结果确立了 LangFlow 在评估预算下的较长序列优势，并强调迭代全序列细化是改善独立生成的途径，超越了循环头记忆机制的收益。