论文
离散流映射:压缩文本生成轨迹并保持概率几何一致性
Discrete Flow Maps
摘要
自回归下一词元预测的顺序性限制了大语言模型的生成速度。连续流模型能够并行生成,但通常需要代价较高的迭代积分。流映射(Flow Maps)将生成轨迹压缩为单步映射,理论上可在一次前向计算中从噪声生成完整文本序列。然而,既有公式依赖欧氏回归损失,与离散数据的几何结构不匹配。本文提出离散流映射,协调轨迹压缩与概率单纯形的几何结构,并重新设计离散场景中的流映射训练,使训练动态符合语言数据的离散性质。实验中,这种几何对齐使方法优于既有离散流建模结果。