FlowBot：通过双层优化和文本梯度引入 LLM 工作流程

LLM 工作流程协调对各个 LLM/代理的结构化调用以实现特定目标，为构建可以处理不同任务的强大 AI 系统提供了一条有希望的途径。然而，构建此类工作流程的现有方法通常依赖于人工设计的管道和提示，这在现实世界的部署中提出了重大瓶颈。我们如何以数据驱动的方式自动诱导基于 LLM 的代理和工作流程？本文描述了一种简单的数据驱动方法，用于自动诱导代理和 LLM 工作流程。我们将工作流归纳制定为双层优化问题：一个外循环优化工作流的高级草图（特别是如何构建 LLM 调用），一个内循环逐一优化每个单独的 LLM 调用。两个循环都使用“文本渐变”进行优化，其中对于内部循环，我们通过逐层“反向传播”文本渐变以模块化方式优化每个组件。我们发现，通过我们的 \textsc{FlowBot} （通过 \textbf{b}ilevel \textbf{o}ptimization 和 \textbf{t}extualgradient 进行工作 \textbf{flow} 归纳）方法发现的 LLM 工作流程与利用人工制作或生成的工作流程的强大基线相比具有竞争力。