推测解码 的成本感知扩散草图树

推测解码 通过让轻量级起草者提出由目标语言模型并行验证的标记来加速推理。块扩散绘图器（例如 DFlash）一次性生成整个绘图块，产生每个位置的边距； DDTree 使用这些来构建候选树，在固定节点预算下最大化预期接受长度。然而，我们观察到，接受长度并没有减少预算：无论验证成本如何，它总是倾向于较大的树，没有为预算选择提供原则依据。我们引入\textbf{CaDDTree}（Cost-aware Diffusion Draft Tree），一种通过联合选择树结构和节点预算来直接优化词元吞吐量（单位时间生成的预期词元）的方法。我们明确地对草稿和验证延迟进行建模，表明吞吐量目标分解为超出预算的每轮一维搜索，并证明在凸验证成本下，吞吐量函数为 \emph{unimodal}，从而实现有效的贪婪停止规则。 CaDDTree 不需要离线预算搜索，每轮都会根据当前每个位置的分布和验证成本来调整预算。在 Qwen3-4B 和 Qwen3-8B 上跨推理、编码和指令跟踪任务的八个基准进行的实验表明，\caDDTree{} 在几乎所有任务上都匹配或超过了具有预言机预算选择的 DDTree。