AgentFactory：迈向自动化智能体系统设计与优化

大语言模型 (LLM) 作为代理系统中的强大组件，已展现出非凡的功能，可实现复杂的推理和复杂的任务执行。然而，当前手动设计和优化代理系统的方法严重依赖于手动操作，限制了它们的适应性和可扩展性。最近的工作探索了工作流程设计的自动优化。然而，这些方法往往忽视了模型功能的关键作用，并专注于单一性能指标，无法解决现实世界的部署限制。在本文中，我们提出了 AgentFactory，这是一个框架，它在考虑性能、成本和效率等多个目标的同时，联合优化代理系统中的基础模型和工作流结构。 AgentFactory 利用先进的 LLM 作为优化器来导航可能配置的巨大搜索空间，采用三阶段优化管道自动发现微调模型和优化工作流程的有效组合。通过迭代优化过程，我们的框架系统地探索和评估不同的代理系统设计，适应特定任务的要求，同时保持运营效率。我们通过跨越五个领域的八个基准来评估 AgentFactory，包括一般推理、编码、数学、医学和金融。我们的实验表明，AgentFactory 始终优于手动设计的方法和现有的自动化方法，在所有基准测试中平均提高了 9.1%，尤其是在特定领域任务中取得了显着的进步（MedQA 为 19.6%，FinEval 为 18.7%）。这些结果表明 AgentFactory 是一种通过自动优化开发功能更强大、更高效的代理系统的有前途的方法。