边际树：具有因式分解先验的自回归绘图

推测解码 通过权衡单次前向传递中生成的额外标记的计算量，极大地提高了自回归语言模型的交互性。分解草案模型特别有效，因为它们并行预测未来词元边际，但它们的独立性假设导致接受率随着推测解码预算的增长而急剧下降。我们分析了这一限制，并引入了 Weaver，这是一种轻量级自回归适配器，可根据分解起草器的前 K 个边缘构建提案树。 Weaver 恢复提议标记之间的条件依赖关系，同时避免全词汇表投影。为了支持具有 Gated Delta Net 层的模型的快速验证，我们推导了一种无回滚树验证算法，并在 SGLang 中实现了优化的 CUDA 内核。通过结合这些模型和系统的贡献，我们实现了自回归解码 4.37 倍的加速，并且比高度优化的 DFlash 基线提高了 24.7%。