互惠指导：协调草案和验证预算以推进扩散 AR 自我推测前沿

具有自回归 (AR) 验证的扩散绘图已成为高效推测解码的有前途的范例。最近以 Nemotron-Labs-Diffusion 为代表的自我推测模型通过在共享主干内统一起草和验证来进一步简化推测管道，同时实现更长的接受长度。然而，聚合吞吐量和每个请求吞吐量之间的帕累托边界仍未得到充分探索。在低并发情况下，顺序草稿验证执行每轮需要两次模型前向传递，从而限制了每次前向的有效词元 (TPF)。相比之下，在高并发情况下，较长的草稿会产生越来越昂贵的计算，迫使各个请求在有限的推测预算下运行，并阻止充分利用全骨干起草器。我们的主要观察表明，起草和验证具有相互的可预测性。草稿日志可以预测可能的验证不匹配，而最近的验证结果可以预测未来的绘图实用性和合适的块大小。在此观察的基础上，我们引入了互惠指导（RecGuide），这是一个运行时草稿验证编排框架，可根据不同的服务负载调整推测解码。 RecGuide 通过低并发下的验证重叠绘图来利用备用计算能力，同时随着工作负载变得越来越计算密集型，动态分配请求特定的草图块大小。跨各种并发级别的实验表明，与普通的自我推测相比，吞吐量得到了一致的提高，实现了高达 1.8 倍的加速。