多样化：通过动态集成验证放松 推测解码

推测解码 是一种通过并行起草多个词元来加速 大语言模型 推理的有效技术。在实践中，其加速通常受到严格验证步骤的瓶颈，该验证步骤严格强制接受的词元分布与目标模型完全匹配。这种限制导致拒绝许多看似合理的词元，降低接受率并限制总体时间加速。为了克服这一限制，我们提出了 Dynamic Verification Relaxed 推测解码 (DIVERSED)，这是一种宽松的验证框架，可以提高时间效率，同时保持生成质量。 DIVERSED 学习基于集成的验证器，该验证器将草案和目标模型分布与任务相关和上下文相关的权重混合在一起。我们为我们的方法提供了理论依据，并通过经验证明，与标准 推测解码 方法相比，DIVERSED 实现了更高的推理效率。代码位于：https://github.com/comeusr/diversed。