校准的 推测解码：频率引导候选选择以实现高效推理

推测解码 通过让草稿词元绕过完整验证来加速自回归生成，但传统框架经常遭受错误拒绝，特别是当草稿模型产生语义正确但词汇上不同的输出时。在本文中，我们提出了校准的 推测解码 (CSD)，这是一个 无需训练 框架，可以恢复标准验证丢弃的有效词元。在“频率引导候选选择和概率保护接受”原则的指导下，CSD 包含两个轻量级模块：在线校正记忆，它聚合历史拒绝，以提出重复出现的分歧模式作为救援候选；语义一致性门控，使用概率比而不是精确的词元匹配来验证候选的可接受性。我们对不同 大语言模型 的评估表明，CSD 优于现有方法，实现了 2.33 倍的峰值吞吐量加速。 CSD 在所有任务中保持模型准确性，同时进一步提高复杂推理数据集的性能。这些结果使 CSD 成为适用于实际 LLM 部署的高效、轻量级解决方案。