LongSpark：使用固定成本并行起草器进行高效推测解码

推测性解码通过在单个目标前向传递中验证多个草稿词元来加速自回归推理。然而，随着环境的发展，现有的最先进的绘图仪变得越来越昂贵，削弱了它们旨在提供的效率优势。我们认为这种扩展是不必要的。独立的语言模型必须随其前缀一起增长，因为它单独负责它生成的每个标记。相比之下，起草者只提出候选人；目标在提交任何词元之前捕获并纠正每个错误。因此，起草者的解码成本可以完全独立于前缀长度。我们引入了 LongSpark，这是一种块扩散绘图器，它通过从目标的验证过程中提取固定大小的多尺度视图来实现这一目标，从而消除了对不断增长的持久状态的需要。广泛的评估表明，LongSpark 在多个模型规模和实际服务条件下实现了最先进的端到端效率。值得注意的是，它在长上下文任务中提供了最低的每个输出词元时间，同时将起草者的上下文状态减少了几个数量级。