学习构建实用的代理系统

基于 LLM 的代理系统的自动化设计和优化产生了复杂的系统，与现成的代理模式相比，该系统大大提高了结果质量。然而，对现场代理系统的研究表明，生产系统更多地关注诸如推理成本的简单性、可控性和可预测性等问题。在本文中，我们提出了设计和优化实际代理系统的原则方法。我们描述了一个代理框架，它使设计人员能够通过定义在受限上下文上递归调用 LLM 的“伪工具”来强制代理系统中的模块化。使用这个框架，我们为不同的任务集手工设计代理，并表明相对于动态规划的工作流程，手工构建的固定工作流程通常更便宜、更准确。然后，我们为该框架所需的代理组件提出新颖的学习方法，即伪工具和固定工作流程。这些学习方法通​​常优于手工设计的代理。我们还利用框架的模块化来应用多目标优化方法来共同优化成本和响应质量并混合多个学习系统的结果。