粘性跳跃扩散：屏蔽扩散、连续扩散和混合扩散的统一视图

我们引入粘性跳跃扩散（SJD），$\mathbb R^d$ 上的连续时间马尔可夫过程，其离散锚点是词元嵌入。在正向时间中，锚以危险率释放其质量，并且释放的质量在连续的环境空间中扩散；时间反转将分数驱动的 SDE 与粘性跳跃内核结合起来，粘性跳跃内核的速率和目的地由前向定律的通量平衡决定。我们通过去噪风险匹配（去噪分数匹配的危险模拟）和无模拟交叉熵训练来估计单个去噪分类器的分数和每个锚点的反向风险。 SJD 恢复了掩蔽扩散、连续扩散和混合扩散作为限制。它的逆转解释了每个家族都视为给定的特征：蒙面扩散的面具不携带有关源词元的证据，因为每个锚点的脱粘内核都会塌陷到相同的吸收点；由于其前向边缘中不存在原子，因此需要连续扩散的终端投影，否则通量平衡不会产生反向跳跃；混合扩散的更新规则（提交率、目的地和漂移）都遵循通量平衡而不是单独设计。除了这些限制之外，脱粘内核变成了一个设计空间：跨位置混合将每个位置破坏为与其邻居的干净值或嵌入的混合，将空间局部性或约束图等依赖结构转变为破坏本身的归纳偏差，并改进了 CIFAR-10、Text8 和 Sudoku 上的身份内核混合。