论文
汇票什么时候被接受? 推测解码 中的接受理论
When Is a Draft Accepted? A Theory of Acceptance in Speculative Decoding
摘要
推测解码 通过使用快速起草器提出候选标记,然后由更大的目标模型进行验证,从而加速语言模型推理。现有理论主要研究随机的、分布保持的设置,其目标是从目标分布中精确采样。相比之下,许多实际系统使用贪婪解码、宽松的接受规则或基于树的候选集,其中成功取决于局部排名和阈值事件,而不是精确的分布平等。我们为这些制度制定了理论。我们发现许多常见的接受标准都具有拒绝区域,这些区域可以表征为目标分布的较低级别集。为此,我们描述了拒绝产生精确证书所需的确切 KL 散度,以及严格贪婪解码、加法和乘法宽松接受、top-(m) 宽松标准和熵阈值接受的基于锐利边界的边界。然后,我们将框架扩展到贪婪树解码,当目标贪婪词元仍然被起草者的顶级(m)候选者覆盖时,派生出精确的和仅余量的证书。最后,我们评估了 Qwen3 模型上得到的证书,结果表明宽松的基于树的标准大大扩大了认证接受的范围,特别是在目标模型分布裕度较低的解码步骤上。这些结果通过表征实际推理系统中常见的确定性局部接受事件来补充 推测解码 的现有分布保持分析。