以轨迹为师：通过能量导航 蒸馏 进行少步离散流匹配

离散流匹配通过迭代地将噪声标记转换为连贯语言来生成文本，但可能需要数百次前向传递。 蒸馏 使用多步轨迹来训练学生通过几个步骤重现该过程。当学生表现不佳时，通常的解释是能力不足。我们持相反的观点：轨迹才是瓶颈，而不是学生。每个训练轨迹都是通过一系列盲目随机跳跃构建的，不评估序列质量；早期中点的一个错误决定会通过后续步骤传播，但学生必须模仿结果。轨迹形状离散流匹配（TS-DFM）用引导导航取代了这些盲目跳跃：轻量级能量罗盘评估每个中点的候选延续，选择最连贯的。所有塑造都只是训练；推理成本不变。在 170M 参数的语言建模中，8 步的成形学生比 1,024 步的教师的困惑度降低了 32%，同时速度提高了 128 倍，并且在不同源分布和三个规模不断扩大的评估器中获得的增益一致。 TS-DFM 在我们比较的任何离散生成基线中实现了最佳的困惑度，包括使用 6 倍以上数据或使用 5 倍更大模型进行训练的方法。