论文

ToolLIFT:把工具轨迹提升为函数级图以支持可泛化工具规划

ToolLIFT: Lifting Tool-Specific Trajectories into Function-Level Graphs for Generalizable Tool Planning

智能体系统模型训练强化学习Agent 规划Agentic RL

摘要

历史工具使用轨迹为大语言模型(LLM)代理提供宝贵的规划和协调工具使用的经验。现有方法直接从这些轨迹中构建工具级别的图,但生成的图仍然受限于特定工具,并且难以跨工具集进行泛化。为解决这一挑战,我们发现尽管涉及工具的不同,相似的任务往往共享一个共同的功能级工作流结构,这为工具规划提供了一个潜在更可转移的抽象。基于这个洞察,我们提出ToolLIFT,这是一个将工具特定轨迹提升到功能级工作流图(FWG)中的框架,以实现通用化的工具规划。具体来说,首先提出一种轨迹提升机制,在FWG中编码工作流结构,并共享工具间的协作经验。然后,基于FWG的全局结构,我们引入解耦的工作流规划和工具选择,使个体工具的选择与整体工作流保持一致。最后,为了确保可靠的工具数据流,我们采用强化学习(RL)并提出源门控和技能特定奖励来维持跨工具调用时源可追踪的信息流动。在两个分布内基准(ID)上的实验和三个分布外基准(OOD)上的实验中,ToolLIFT始终优于当前最先进的基线,展示了对未见过工具集的强大泛化能力。

ToolLIFT:把工具轨迹提升为函数级图以支持可泛化工具规划:论文配图
图 1:用不同工具集实例化的工具使用轨迹可以共享功能级工作流结构:虽然具体工具不同,但它们的功能角色和关系遵循相同的模式。