推测性管道解码：通过管道并行性实现具有隐藏延迟的高精度绘图

推测解码 (SD) 通过先起草后验证的范例加速低并发 LLM 推理。然而，主流方法依赖于多词元预测，这会带来复杂的预测难度和暴露的草稿延迟。我们提出推测管道解码（SPD），它将目标 LLM 划分为 $n$ 管道阶段，以便单个序列的 $n$ 词元并行前进。为了保持管道饱和，管道草案模块 (PDM) 聚合多深度目标特征来预测下一个标记，并与每个管道步骤同时运行，从而产生有限的预测难度、更高的接受度和隐藏的草案延迟。实验表明，在中等管道宽度下，SPD 比 EAGLE-3 实现了更高的理论和挂钟加速，而更激进的宽度仍然为进一步的增益留有空间。我们的代码位于 https://github.com/yuyijiong/speculative_pipeline_decoding