离散平均生成器：减少扩散语言模型的采样步数

离散扩散模型和流匹配为离散状态空间生成提供了有效框架，但高效的少步生成仍是重要挑战。本文提出离散平均生成器，将MeanFlow扩展到连续时间马尔可夫链（CTMC）。类似于连续空间中一段时间的平均速度场，平均生成器定义为这段时间内转移核的归一化增量。作者证明它满足自洽恒等式，并据此构建训练目标；训练策略兼容扩散语言模型常用流程，也保持目标可计算。投影到各坐标的边缘分布后，自洽关系具有闭式表达，支持高效训练和推理。在Potts模型仿真中，K步采样器的总变差距离最多减少67%。在OpenWebText上，方法在8—64步采样的所比较方法中取得最低生成困惑度，同时实现16倍加速；ImageNet上的表现与现有方法相当。