无需模型更改的并发：LLM 基于未来的异步函数调用

函数调用，也称为工具使用，是现代 LLM 代理的核心功能，但通常受到同步执行语义的限制。在这些语义下，LLM 解码会被阻止，直到每个函数调用完成为止，从而导致端到端延迟增加。在这项工作中，我们引入了 AsyncFC，一个纯执行层框架，它将 LLM 解码与函数执行解耦，从而在依赖关系允许的情况下实现模型解码和函数执行之间的重叠以及函数间并行性。 AsyncFC 位于现有模型和未修改的函数实现之上，不需要 微调 或对标准同步函数调用协议进行更改。在标准函数调用基准和改编的软件工程基准中，AsyncFC 显着减少了端到端任务完成时间，同时保持了任务准确性。此外，这些结果表明，LLM 拥有对代表未解决的执行结果的符号未来进行推理的本机能力，从而为模型工具交互提供了异步范例。