TAPS：用于推测抽样的任务感知提案分布

推测解码 通过让轻量级草稿模型提出未来词元，然后由更大的目标模型并行验证，从而加速自回归生成。然而，在实践中，草稿模型通常是在广泛的通用语料库上进行训练的，这使得我们不清楚 推测解码 的质量在多大程度上取决于草稿训练分布。我们与受过 MathInstruct、ShareGPT 和混合数据变体训练的轻量级 HASS 和 EAGLE-2 绘图员一起研究这个问题，并在 MT-Bench、GSM8K、MATH-500 和 SVAMP 上进行评估。以接受长度来衡量，特定任务的训练产生了明显的专业化：MathInstruct 训练的草稿在推理基准上最强，而 ShareGPT 训练的草稿在 MT-Bench 上最强。混合数据训练提高了鲁棒性，但较大的混合数据在解码温度上并不占主导地位。我们还研究了如何在推理时结合专门的起草者。朴素的检查点平均性能较差，而基于置信度的路由比单域草稿有所改进，并且合并树验证为两个主干网提供了最高的总体接受长度。最后，置信度是比熵更有用的路由信号：被拒绝的词元往往具有更高的熵，但置信度会产生更清晰的基准级路由决策。这些结果表明，推测解码 的质量不仅取决于草稿架构，还取决于草稿训练数据和下游工作负载之间的匹配，并且专业起草者在推理时间比在权重空间更好地组合。