非自回归生成的离散随机定位

连续扩散是非自回归生成的自然框架，但在离散序列生成方面通常落后于掩模离散扩散模型 (MDM)。我们认为瓶颈不是连续性本身，而是去噪取决于时间步长索引噪声状态的表示。我们引入\emph{离散随机定位}（DSL），一种具有单位球词元嵌入的连续状态框架，其贝叶斯最优降噪器对于定位通道下的标称信噪比（SNR）是不变的。然后，一个经过训练的网络支持一整套每个词元的 SNR 路径，其中端点屏蔽扩散路径是一种特殊情况。 微调 是一个带有 DSL 的预训练 MDLM 检查点，在从 $T{=}128$ 到 $T{=}1024$ 的所有步骤预算中显着改善了 OpenWebText 上的分布式 忠实性 (MAUVE)，并且同一检查点支持随机顺序自回归采样，以及使用少至 T=48 总步骤的混合连续然后离散采样器 - 无需蒸馏 或再培训。