TreeGraft：基于树的自适应多牵伸器嫁接 推测解码

推测解码 通过先起草后验证的范例加速 大语言模型 推理。在此基础上，树结构方法通过将提案组织成多个候选路径来改进推理，增加可接受的长度。然而，现有的树结构方法使用单个绘图器来完成所有绘图步骤，从而造成了一个困境：较小的绘图器速度很快，但生成的树质量较低，而较大的绘图器可以提高树质量，但会出现高延迟。为了解决这个问题，我们提出了 TreeGraft，一个多起草者框架，其中不同成本的起草者共同构建一个共享的草案树。 TreeGraft 使用较强的起草者通过更新较弱的起草者分配的分数来重新评分候选人，重新选择嫁接位置，并恢复未探索的有希望的路径。它还以非破坏性方式集成了更强大的绘图扩展，保留目标模型仍可能接受的现有分支。这些设计共同提高了共享草图树的质量。为了控制起草成本，TreeGraft 引入了一个从离线价值系统中提炼出来的轻量级调度程序，以决定何时调用更强的起草程序。在 10 个模型对和 6 个基准测试中，TreeGraft 的性能平均优于两个固定单起草者端点策略中较好的策略 15.1%，最大增益达到 26.6%。我们的代码可在 https://github.com/fjm9933/TreeGraft 获取。