通过区块验证加速投机扩散

推测解码 通过使用草稿模型生成词元来加速 LLM 推理，并采用接受-拒绝方案来确保输出与目标分布匹配。使其适应连续扩散是很困难的，因为推测采样需要从残差分布中提取。虽然在离散空间中很简单，但在连续空间中有效采样该残差却很重要。因此，现有的扩散适应要么使用计算效率低下的采样技术，要么依赖于替代方案。在这项工作中，我们引入了一种新颖的方案，可以有效地实现扩散模型的原始推测采样机制。与当前方法相比，我们的方法具有一个关键优势：它使我们能够将区块验证从 LLM 调整为扩散——这证明可以提高草稿的接受率。此外，我们对自由起草者进行了形式化和分析，这是一种无需训练的启发式自我推测起草者。通过启用块验证，我们的 Free Drafter 比现有的推测方法提高了 6.3% 的速度，无需额外的训练，并且除了现有的并行验证过程之外，开销可以忽略不计。