SpecBlock：具有动态树绘图功能的块迭代 推测解码

推测解码 通过起草候选延续树并在一个目标向前验证它来加速 LLM 推理。现有的起草者分为两个阵营，各自都有各自的弱点。自回归绘图器（例如 EAGLE-3）保留沿每个绘图路径的依赖性，但每个树深度调用一次绘图器，从而使绘图在每次迭代延迟中占据不小的份额。并行起草者通过预测一名前锋的多个未来位置来减少起草者的呼叫，但每个位置都是在没有看到其他位置的情况下预测的，从而产生了验证者拒绝的路径。在本文中，我们提出了 SpecBlock，这是一种将路径依赖与廉价绘图相结合的块迭代绘图器。每个起草前锋产生 K 个依赖位置，我们称之为块。草图树通过重复的区块扩展而生长。两种机制明确地带有路径依赖，以保持后来的选秀位置准确。在每个块内，逐层移位将前一个位置的隐藏状态携带到每个解码器层。跨区块，每个新区块都可以从前一个区块的任意位置开始，继承其隐藏状态来扩展路径。为了在可能被接受的地方花费验证者预算，共同训练的排名头通过在起草期间分配每个位置分支来取代固定的 top-k 树。为了避免对起草者在推理时从未产生的前缀进行训练，一旦较早的位置出错，有效的前缀掩码就会降低后面位置的损失。除了静态起草之外，只有当预期吞吐量增益超过更新成本时，部署时具有成本意识的强盗才会使用免费的验证者反馈来有选择地更新起草者。实验表明，SpecBlock 的平均加速比 EAGLE-3 提高了 8-13%，起草成本仅为 44-52%，而成本感知适应将这一领先优势扩大到 11-19%。