FlowCompile：结构化 LLM 工作流程的优化编译器

结构化的 LLM 工作流程（其中专门的 LLM 子代理根据预定义的图执行）已成为解决复杂任务的强大抽象。由于模型选择、推理预算和工作流程结构的组合设计空间，优化此类工作流程（即为每个子代理选择配置以平衡准确性和延迟）具有挑战性。现有的成本感知方法主要将工作流优化视为路由问题，根据训练期间使用的准确性-延迟目标在每个查询的推理时选择配置。我们认为，结构化的 LLM 工作流也可以从编译的角度进行优化：在部署之前，系统可以全局探索工作流设计空间，并构建一组可重用的工作流级配置，涵盖不同的准确性-延迟权衡。从机器学习编译器中汲取灵感，我们推出了 FlowCompile，这是一种结构化的 LLM 工作流编译器，它执行编译时设计空间探索，以确定高质量、可重用的权衡集。 FlowCompile 将工作流程分解为子代理，在不同的配置下分析每个子代理，并通过结构感知代理组合这些测量，以估计工作流程级别的准确性和延迟。然后，它可以在单个编译时过程中识别不同的高质量配置，而无需重新训练或在线调整。跨不同工作流程和具有挑战性的基准的实验表明，FlowCompile 始终优于启发式优化的工作流程配置和基于路由的基线，可实现高达 6.4 倍的加速。编译后的配置集进一步充当可重用的优化工件，从而能够在不同的运行时首选项下进行灵活的部署，并支持下游选择或路由。