论文
Firefly:阐明从真实 API 生成大规模经过验证的工具调用数据
Firefly: Illuminating Large-Scale Verified Tool-Call Data Generation from Real APIs
摘要
训练工具调用代理需要带有可验证标签的大规模轨迹数据,但现有方法要么合成与真实 API 行为不同的环境,要么生成没有 真值 结果进行验证的任务。我们推出了 FireFly,这是一个用于从现实世界的 MCP 服务器生成经过验证的工具调用数据的管道。我们的关键见解是反转标准合成管道:我们首先让强大的 LLM 沿着图形引导的 DAG 结构探索真实的 API,然后从观察到的结果向后合成任务,通过构造保证标签的正确性,而不是生成任务并希望它们是可解决的。为了处理现实世界工具空间的规模(${\sim}$1,000 个工具),我们构建了成对工具图和示例子 DAG,以集中探索语义一致的工作流程。为了解决实时 API 中的环境漂移问题,我们构建了一个检索增强模拟器,可以缓存所有探索结果并在训练和评估期间重播它们,从而实现完全离线且可重现的 RL。应用此管道可生成 5,144 个经过验证的任务,涵盖 240 个服务器和 993 个工具。在 FireFly 上使用 GRPO 训练的 4B 参数模型与我们的测试集上的 Claude Sonnet 4.6 相匹配,并显示了对多个工具调用基准(包括 Tau2-Bench、MCPMark 和 MCP-Atlas)的改进。