异步流映射语言模型将token预测顺序蒸馏进单步生成

语言建模中预测 token 的顺序对生成序列的质量有着深远的影响。自回归和掩码扩散模型迭代地填充 token，并且可以跨生成步骤利用此类排序，但如何利用单步并行语言建模的排序尚不清楚。我们引入了异步流映射语言模型（aFMLM），它通过学习异步流的流映射将预测顺序合并到一步建模中。这些流通过控制 token 的相对去噪进度的 token 时间表来指定排序。我们制定了一类通用的异步流，它允许规定的和学习的、状态自适应的调度，表明它们定义了有效的流映射，并为其流映射蒸馏开发了新方法。通过将流中编码的顺序内部化到其隐藏计算中，生成的模型可以在单个前向传递中生成所有 token。在数独求解，以及针对 GSM8K 数学应用题生成解题代码这两项任务上，aFMLM 建立了新的最先进的一步性能。