Nemotron-Labs-Diffusion：统一自回归、扩散和自推测解码的三模式语言模型

我们推出了 Nemotron-Labs-Diffusion，这是一种三模式语言模型 (LM)，它将 AR、扩散和自推测解码统一在一个架构中。 Nemotron-Labs-Diffusion 经过联合 AR 扩散目标的训练，可以切换模式以在部署设置和并发级别上维持高吞吐量。我们的研究表明 (1) AR 和扩散目标是互补的：扩散改善了前瞻规划，而 AR 提供了从左到右的语言先验。 （2）在自推测模式下，在 AR 验证的同时进行扩散草稿，在接受率和实际设备效率上都优于多词元预测（MTP）方法。 (3) 光速分析进一步证明了扩散的长期潜力，在最佳采样器下，每次前向传递的词元比自我推测多出 76.5%。我们的 Nemotron-Labs-Diffusion 系列（包括基础模型、指令模型和视觉语言模型）可扩展到 3B、8B 和 14B 参数，在准确性和速度方面始终优于最先进的开源 AR 和扩散 LM。例如，Nemotron-Labs-Diffusion-8B 每次转发解码的词元数比 Qwen3-8B 多 6 倍，且精度相当，这意味着在 GB200 GPU 上使用 SGLang 的 SPEED-Bench 上的吞吐量提高了 4 倍。