SpecTr-GBV：多草稿区块验证加速 推测解码

自回归语言模型由于其顺序解码性质而遭受高推理延迟的困扰。 推测解码 (SD) 通过采用轻量级草案模型来提出候选词元，并由更大的目标模型有选择地验证，从而缓解了这一问题。虽然现有方法要么采用多草案策略来提高接受率，要么采用区块验证技术来联合验证多个词元，但它们仍然因孤立地对待这些改进而受到限制。在这项工作中，我们提出了 SpecTr-GBV，这是一种新颖的 SD 方法，它将多草案和贪婪块验证（GBV）统一到单个框架中。通过将验证步骤制定为草案和目标词元块上的最优传输问题，SpecTr-GBV 提高了理论效率和经验性能。我们从理论上证明 SpecTr-GBV 在 i.i.d 框架内实现了物理上可达到的最佳预期接受长度。草稿生成，并且这个界限随着草稿数量的增加而改善。根据经验，我们在五个数据集和四个基线上评估 SpecTr-GBV。我们的方法实现了卓越的加速和显着更高的块效率，同时保持了输出质量。此外，我们还进行全面的消融研究，以评估模型中各种超参数的影响。