论文

通过轨迹自我的少步扩散语言模型-蒸馏

Few-Step Diffusion Language Models via Trajectory Self-Distillation

摘要

Diffusion 大语言模型 (DLLM) 已成为强大的生成模型,有望通过并行解码快速生成文本。然而,在实践中实现这种潜力仍然具有挑战性:减少解码步骤的数量通常会由于词元分解错误而导致输出质量大幅下降。为了缓解这个问题,我们提出了一个自我 蒸馏 框架,该框架训练几步学生以匹配全步教师的生成轨迹。我们从理论上和经验上表明,轨迹级监督可以减轻这种分解误差,从而实现有效的少步解码。我们进一步结合了直接判别优化(DDO),这是一种反向 KL 目标,鼓励向教师模式寻求模式,从而在具有挑战性的推理任务中产生更强的表现。在推理和代码生成基准测试中,我们的方法大大缩小了少步解码和全步解码之间的差距。源代码可在 https://github.com/Tyrion58/T3D 获取。