通过定点流的自调节流图语言模型

自调节是增强基于连续流的语言模型的核心技术，其中模型通过调节自己的去噪估计来学习对生成的文本进行去噪。虽然在经验上是成功的，但对其性能的改进却知之甚少。此外，人们对使用基于流程图的少步生成器越来越感兴趣，但如何利用自调节尚不清楚。在这里，我们展示了具有自调节功能的流语言模型执行定点迭代，通过迭代细化改进生成。我们使用这个观点来制定定点流，这是一种二维类自条件流，其中第一维表示流过程，第二维表示定点迭代。我们证明了定点流定义了有效的流图，并表明它们可以通过压缩定点迭代和流过程从自调节流模型中提取出来，前者使用定点 蒸馏，后者使用流图 蒸馏。我们得到的流程图语言模型 FMLM$^\star$ 在 OpenWebText 上的一步和几步生成中优于最先进的自调节模型和少步模型。代码可在 https://github.com/Ug​​ness/self-conditioned-fmlm 获取。