SENSE：基于检索的具有软门控评估的语义嵌入导航 推测解码

推测解码 (SD) 通过采用轻量级草案模型来提出候选词元，并由目标模型并行验证，从而加速 大语言模型 (LLM) 推理，而不会影响生成质量。虽然基于检索的 推测解码 (RSD) 因其即插即用的多功能性而受到青睐，但其潜力受到严格的词汇依赖性的阻碍，使得检索和验证对于表面级别的变化都很脆弱。为了解决这个问题，我们提出了 SENSE（具有软门控评估的语义嵌入导航）。通过将检索锚定在目标模型的隐藏状态上，SENSE 建立了强大的语义对齐，这使得软门评估模块能够验证语义等价性而不是表面形式。为了确保严格的基准测试，我们将现有方法解构为统一框架内的原子基元，从而促进粒度、组件级比较。跨不同领域的广泛实验表明，SENSE 的性能优于 LLaMA 和 Qwen 系列的多个基线，达到了高达 4.09 的平均接受长度和 3.26 倍的加速，同时保持了生成质量。我们的代码将在发布后发布。