论文
JTPRO:面向语言智能体的工具与提示联合反思优化框架
JTPRO: A Joint Tool-Prompt Reflective Optimization Framework for Language Agents
摘要
增强了外部工具的大语言模型(LLM)智能体,在工具数量增大并变得领域专一时往往表现挣扎。在这类场景中,含糊的工具描述和欠明确的智能体指令常常导致工具误选和错误的槽位/取值实例化。我们假设这源于两个根本原因:忽视工具特定细节的通用一刀切提示,以及欠明确的工具模式(schema)——缺乏关于何时及如何使用每个工具、如何格式化其参数的清晰指引。我们提出Joint Tool-Prompt Reflective Optimization(JTPRO),一个在轨迹监督设定下提升工具调用可靠性的框架,它迭代地利用基于rollout的反思来共同优化全局指令和逐工具的schema/参数描述,以在大型工具清单中实现准确的工具选择与参数实例化。JTPRO的设计只保留正确消歧和槽位填充所需的工具局部线索。我们在多工具基准上评估JTPRO,这些基准涵盖不同数量的工具,并使用三个指标:工具选择准确率(TSA)、槽位填充准确率(SFA)和总体成功率(OSR)(正确工具+正确槽位+正确取值)。JTPRO在OSR上持续超越强基线,包括CoT风格智能体和GEPA等反思式提示优化器,相对提升5%-20%。消融实验表明,指令与工具schema的联合优化比单独优化任一组件更有效、更稳健。
