OoO-Spec：快速工具调用的无序语义推测

LLM 逐个生成工具调用标记，即使函数选择和参数值通常可以从请求和工具模式并行预测。 ToolSpec 通过起草模式词元和检索早期调用来降低此成本，但无法提出任一来源中缺少的请求特定值。我们提出了 OoO-Spec，它无序地计算这些缺失的语义。请求到达时，Qwen3-0.6B sidecar 会在一个并行请求级波形中预测函数选择和所有模式定义的参数槽，同时目标开始 ToolSpec 解码。运行时连接槽值，将生成的调用呈现为文本，并将其公开给后续的候选构建轮次。目标轮询不会阻塞，使用自己的标记器重新标记就绪提示，并保持唯一的验证者和提交权限。 sidecar 在 Qwen2.5-32B 教师轨迹上使用 LoRA 进行了一次训练，并在 Qwen2.5、Qwen3 和 Llama 目标中使用不变，无需针对特定目标的绘图员训练。在贪婪批量一解码下的七个完全排名目标和三个基准中，OoO-Spec 在所有 21 个目标基准单元中的所有评估方法中是最快的，在自回归解码上达到 2.46x-5.34x，未加权平均值为 3.89x，而 ToolSpec 为 2.95x。它还优于每个可比较单元中每个评估的已发布的学习绘图器。在 Qwen3-4B、8B、14B 和 32B 目标中，相同的 sidecar 在 ToolSpec 上平均提高了 34.1%。其紧凑的语义负载平均每个请求 85 字节（不包括协议元数据），支持有效的分割 GPU 重叠。