草木失去目标质量的地方：退出引导的推测解码

基于树的推测解码在一次目标模型传递中验证多个草稿延续，但从草稿分数构建的有限树面临着根本的草稿目标不匹配。我们询问更好的精确验证是否可以提高固定树的接受度，以及目标反馈如何改进树本身。通过目标流视图，我们确定了规范的退出法则，并证明一加目标覆盖范围严格限制了任何精确路径验证器的预期输出块长度，包括奖励token。所有最优验证者都共享相同的退出和奖励token法则，这已经通过代表性的预抽和跟随验证者和顺序剩余验证者获得了。这产生了树退出验证（TEV），这是一种使用一个退出节点决策和一个奖励token决策的精确的、级别并行的过程。退出法则还可以识别丢失目标的概率，为推理时草图树上的退出引导草图树训练 (ExitTrain) 提供节点级反馈。跨对话、代码和数学推理的实验验证了固定树等价性：ExitTrain 增加了平均值 输出块长度减少了 13%，而 TEV 将验证器阶段延迟减少了 15%，与 DDTree 相比，端到端加速提高了 14%。我们的结果区分了两个机会：更好的草稿树以获得更高的接受度和更直接的验证以降低延迟。代码：https://github.com/hsj576/TEV.