论文

为错误付费,而不是为流程付费:无标签的 In-Flow 多Agent工作流优化

Pay for the Fault, Not the Flow: Label-Free In-Flow Multi-Agent Workflow Optimization

智能体系统Agent 协作Agent Harness

摘要

大语言模型 (LLM) 越来越多地构建多Agent工作流程,分解复杂的任务并从池中分配专家Agent。然而,构建这样的工作流程仍然具有挑战性:如何精细地划分任务、每个子任务信任哪个Agent以及何时创建新的专家都是工作流程构建者需要预先解决的关键决策。因此,在工作流运行之前,每个子任务是否成功仍然未知。然而,改进工作流程的成本很高。定位故障通常需要参考答案、分级结果或经过训练的评估员,并且通过重新执行、重新搜索或重新训练将修复应用于整个工作流程。我们提出了 InFlowOp,它以一种无标签成本对每个决策进行定价,该成本权衡智能体的能力满足子任务要求的程度以及该智能体运行所需的时间。在执行之前,InFlowOp 根据成本而不是固定模板双向确定任务分解和Agent分配的粒度。在执行过程中,InFlowOp 通过与工作流构建和运行时服务的相同成本,以最便宜的移动来纠正错误。面对工作流级别的评估挑战,我们引入了 Braid,这是一个基准测试,其任务需要超出单Agent能力的多Agent协调。在各种域和骨干网中,InFlowOp 的性能优于单Agent基线高达 $+11.97\%$,通过流内优化实现了 $+9.64\%$。我们的项目页面:https://xhguo7.github.io/InFlowOp/.