ResiSpec：通过残差分布塑形增强多候选投机采样

摘要

大语言模型（LLM）服务的效率从根本上受自回归解码的串行性限制。投机解码（SD）通过轻量草稿模型预测未来token、再由LLM在单次并行前向中验证来缓解这一问题。为进一步提升效率，多候选方案提出多样的候选集以提高token被接受的概率。然而我们证明，这些方案受制于残差漂移（Residual Drift）：初始候选被拒绝后，残差目标分布会偏离草稿模型的预测。这种偏移使后续候选失效，迫使系统进行昂贵的重采样。为解决这一问题，我们提出ResiSpec，一个在验证阶段策略性地重塑提议分布的框架，将残差目标质量锚定在草稿模型的高置信区域内。ResiSpec在不损害输出精确性的前提下从数学上重新对齐验证过程，防止候选失效，相对最先进的多候选方法取得最高1.92倍的加速。代码已在 https://github.com/Czzzk/Resispec 公开。

ResiSpec：通过残差分布塑形增强多候选投机采样：论文配图 — 图2：ResiSpec与标准多候选验证的比较。在传统方案中，顺序拒绝引发残余漂移（Residual Drift），使目标分布偏移到与草稿模型在数学上不相容的区域（红色区域），导致候选过时。ResiSpec通过辅助代理重塑残余分布（绿色区域），使其与草稿模型的高密度支撑重新对齐，从而缓解这种漂移。这种邻近性确保预采样候选保持有效，在整个验证批次中有效维持高接受率。