用于一步语言建模和推理的离散贝克曼传输模型

离散扩散和流模型是自回归语言模型的一种有前途的替代方案，但将多步采样压缩为更少的步骤通常需要提炼预训练的教师模型。这限制了学生的教师素质，并且需要昂贵的两阶段训练渠道。我们引入了离散贝克曼传输模型（DBTM），它建立在与时间无关的流上，其自主传输图可证明一步将环境空间中的任何点传送到单纯形顶点上的固定点。我们证明了这种定点属性的特征是守恒方程，其残差可以直接从数据中最小化，从而消除了对教师流程和时间条件的要求。在这种结构下，部分训练的映射对应于在有限时间截断的流，因此生成减少为迭代一个映射，直到达到固定点。我们进一步将映射扩展到部分上下文插值，其中附加函数评估充当细化步骤而不是 ODE 积分步骤。在语言建模和推理任务中，DBTM 可以实现一步或几步生成，从而提高离散扩散和连续流基线的质量和准确性。