论文

未来有效性是缺失的统计数据:从不可能到$Φ$-忠实语法的估计 推测解码

Future Validity is the Missing Statistic: From Impossibility to $Φ$-Estimation for Grammar-Faithful Speculative Decoding

模型推理投机采样

摘要

语法约束生成通常与局部词汇屏蔽和 推测解码 相结合,但生成的采样规律并不是用户通常想要的语法条件分布。我们证明,任何具有本地掩码访问、利维坦拒绝和回滚健全性的推测解码器都来自本地投影分布 $μ^{\mathrm{proj}}$ 而不是语法条件分布 $μ^\star$。这将 GAD 不可能结果扩展到 推测解码;在具有 Qwen3-8B 的 Dyck 文法上,总变差差距可达 0.996。我们将未来有效性函数$Φ_t(y)=\Pr_p[\mathrm{valid\completion}\mid y]$确定为缺失的校正统计量。目标分布是基本模型的 Doob 变换,其中 $h=Φ$,而局部掩蔽对应于将 $h$ 设置为 1。有了精确的 $Φ$,我们的预言机解码器 FVO-Spec 就可以从 $μ^\star$ 中精确采样;通过近似$Φ$,我们限制了最终的总变异误差。由于对于一般的上下文无关语法来说,精确的未来有效性很难,因此我们在易于处理的 Dyck 和有限 JSON 语言上评估估计器层次结构。 OneStep 将 Dyck TV 减少了 14%,吞吐量开销低于 1%,精确的动态编程将其减少了 97%,有限语言校正缩小了 JSON 与数值精度的差距。所有保真度声明的范围都限于可枚举语法和词元尝试。