连续扩散语言模型的分布匹配蒸馏

连续扩散语言模型并行生成所有词元，但高质量生成仍然需要数百次网络评估（NFE）。我们研究分布式蒸馏如何通过利用学生的概率词元输出来降低这种成本。我们的统一公式将学生的输出参数化与生成的梯度估计器连接起来，并产生具有相同学生架构和反向 KL 匹配目标的两种方法：Simplex-DMD 使用连续词元松弛和路径梯度，而 Reinforce-DMD 使用分类采样和具有学习密度比的 REINFORCE。我们开发了两种多步骤生成方法，并研究了与每个参数化相关的训练和采样选择。在 OpenWebText 上，对于 1,024 个标记的序列，Simplex-DMD 在仅 4 个 NFE 中以 5.44 nat 的一元熵实现了 45.6 的生成困惑度，相对于匹配熵和采样预算的最强评估扩散基线减少了 49%。 Reinforce-DMD 改善了较大预算下的边界，在 5.00 nat 的熵和 256 个 NFE 下达到 14.9 的生成困惑度，在相同的比较协议下减少了 20%。