论文
DUET:共同演化的求解器与评分器智能体
DUET: Co-Evolving Solver and Grader Agents
摘要
Agentic 工作流程越来越多地跨技术、财务和企业运营等领域使用。随着这些智能体的部署越来越广泛,持续改进它们变得越来越重要。这就提出了一个迫在眉睫的挑战:智能体应该如何发展?这种演变需要有效的评估,以评估结果并为优化提供有用的反馈。随着智能体的发展,其行为和故障模式也可能发生变化,使得固定评估器越来越不够用。另一个基本问题:我们应该如何评估不断发展的智能体?这两个挑战本质上是相互关联的; 智能体行为的变化可以暴露当前评估器的局限性,而更强大的评估器可以为改进智能体提供更多信息反馈。受这种交互的推动,我们引入了 DUET,这是一个联合优化求解器智能体和分级器智能体以改进两者的框架。 DUET 迭代选择训练任务,使用求解器执行它们,使用分级器评估生成的结果,并使用使用工具的更新模块来修改求解器和分级器,在两轮之间交替。通过更新优化循环内的分级器,DUET 将评估从固定的反馈源转变为与求解器一起适应的一流优化目标。四个智能体基准测试的实验表明,DUET 提高了求解器和分级器的性能,并且始终优于使用固定分级器优化求解器的基线。
