DeltaFlow：用于嵌入式语言流的噪声自适应双向门控 Delta 网络

嵌入式语言流（ELF）主要依赖于完全的非因果注意力来进行迭代去噪，在每个采样步骤中反复产生二次序列混合成本。门控 Delta 网络 (GDN) 提供了一种有效的循环替代方案，但其标准因果公式无法直接捕获 ELF 所需的双向上下文。我们引入了 DeltaFlow，一种用于连续语言去噪的噪声自适应双向 GDN 主干。我们研究了两种变体：DeltaFlow-A（跨层交替扫描方向）和 DeltaFlow-P（在每层内执行并行的向前和向后扫描）。我们进一步引入噪声自适应内存控制和预定时间状态一致性（TSC）来稳定附近噪声水平的隐藏表示。在 OpenWebText 上，使用 32 步随机微分方程采样器，DeltaFlow-P 将生成的困惑度从全注意力 ELF 基线的 24.218 降低到 21.228，同时保持可比的一元熵，训练词元暴露量为 36B，而基线暴露量为 45B。在仅降噪器基准中，DeltaFlow-P 在序列长度为 16k 时实现了比全注意力基线提高 2.72 倍的吞吐量加速。这些结果表明，DeltaFlow 是密集注意力的一个有前途的替代方案，可实现高效的连续语言去噪。