ToolSpec：通过工具结构感知与检索增强投机解码加速工具调用

工具调用使大语言模型（LLM）能够与外部应用交互，显著扩大了实际用途。随着模型能力提升，解决复杂任务越来越依赖多步骤、多轮工具交互，但交互增长也带来明显延迟，成为实时模型服务的一项挑战。实证分析发现，工具调用轨迹具有高度结构化特征，遵循受约束的结构规范，并经常出现重复调用模式。为此，本文提出ToolSpec，一种利用结构规范、结合检索增强的投机解码方法，用于加速工具调用。ToolSpec利用预定义工具结构生成准确草稿，通过有限状态机在确定性结构词元填充与可变字段的投机生成之间切换。此外，ToolSpec检索相似的历史工具调用，复用其作为草稿，进一步提高效率。该方法可即插即用，集成到现有大模型工作流。多个基准的实验表明，ToolSpec最高实现4.2倍加速，明显优于已有无需训练的投机解码方法。