论文
神经连续时间马尔可夫链：通过解耦的跳跃时间和方向进行离散扩散
Neural Continuous-Time Markov Chain: Discrete Diffusion via Decoupled Jump Timing and Direction
摘要
基于连续时间马尔可夫链 (CTMC) 的离散扩散模型在语言和离散数据生成方面表现出强大的性能，但现有方法通常通过Concrete score (SEDD) 或干净数据预测 (MDLM、GIDD) 等代理对反向速率矩阵进行整体参数化，而不是将参数化与内在 CTMC 分解对齐为跳跃时间和跳跃方向。我们提出 \textbf{Neural CTMC}，它利用 CTMC 动力学的底层泊松结构，通过两个专用网络头通过 \emph{离开率}（何时跳转）和 \emph{跳转分布}（跳转位置）单独参数化反向过程。我们表明，证据下界（ELBO）减少为真实逆向过程和学习逆向过程之间的路径空间 KL 散度，该散度分解为用于计时的泊松 KL 和用于方向的分类 KL，并允许易于处理的、梯度等效且一致的损失。实验上，根据 Gemma2-9B 的评分，我们的纯均匀神经 CTMC 在 TinyStories 上实现了 16.36的生成困惑度（相对于 GIDD 37.60和 MDLM 42.66）。在 OpenWebText 上，在我们比较的方法中，它在 16--128 个采样步骤（例如，在 128 个步骤：神经 CTMC $183.6$ vs.\ MDLM $210.5$ 和 GIDD $249.8$）中在相同的训练 词元预算 上获得了最佳的困惑度。为了促进可重复性，我们在 https://huggingface.co/Jiangxy1117/Neural-CTMC 上发布了预训练权重。