Gumbel 直线流：将自回归模型提炼为一步流图

摘要

我们提出了 Gumbel Straight Flow (GSF)，这是一种连续流图语言模型，它利用预训练的自回归语言 (AR) 模型的噪声数据耦合。我们从理论上证明，Gumbel 噪声和自回归模型引起的单热词元序列之间的耦合会产生将噪声连接到序列表示的非相交线性路径。为了进一步增强高质量的少步路径采样，我们使用流图半群目标，其中切线（速度）条件由 AR 老师直接引导。在各种基准测试中，包括预训练和下游任务，GSF 可以超越当前的几步语言生成基准。