以无损层级投机解码克服联合不可解性

在投机解码（Speculative Decoding）中，验证是在保持分布保真度的同时提升推理速度的关键瓶颈。近期工作表明，与逐token验证相比，序列级验证能接受更多的token。然而，现有方案往往依赖代理近似或受限于部分信息，难以应对联合不可解性。本工作提出层级投机解码（HSD），一种可证无损的验证方法，通过在可达分支之间平衡超额与不足的概率质量，显著提升期望接受的token数量并克服联合不可解性。我们的大规模实验表明，HSD在不同模型家族和基准上带来一致的接受率提升。此外，其强大的可解释性和通用性使它可以方便地集成到各类投机解码框架中。值得注意的是，将HSD集成到EAGLE-3带来超过12%的性能增益，在不牺牲分布保真度的情况下确立了最先进的解码效率。代码见 https://github.com/ZhouYuxuanYX/Hierarchical-Speculative-Decoding。