FlowLM：通过扩散到流适应的少步语言建模

我们提出了 FlowLM，一种通过高效的 微调 从预训练的扩散语言模型转换而来的流匹配语言模型。通过将扩散模型的弯曲采样轨迹重新调整为直线流，FlowLM 能够实现高质量的少步生成，其质量可与甚至优于 2,000 步扩散采样的质量相媲美，并且训练周期极少。值得注意的是，经过微调的 FlowLM 达到性能饱和的训练周期数仅为从头开始训练的一半，这两种方法都大大优于原始扩散模型，从而验证了我们的方法。此外，我们验证了更有效的流匹配训练目标：预测干净数据以一致地引导采样过程实现真实的数据分布。实证结果表明，我们的方法对于高质量、少步骤的文本生成非常有效。