Chat2Workflow：使用自然语言生成可执行可视化工作流程的基准

目前，可执行的可视化工作流程已成为现实工业部署中的主流范例，具有很强的可靠性和可控性。然而，在目前的实践中，这样的工作流程几乎完全是通过手工工程构建的：开发人员必须仔细设计工作流程，为每个步骤编写提示，并根据需求的变化反复修改逻辑，这使得开发成本高昂、耗时且容易出错。为了研究 大语言模型 是否可以自动化这个多轮交互过程，我们引入了 Chat2Workflow，一个直接从自然语言生成可执行可视化工作流的基准，并提出了一个强大的代理基线来提高性能。该基准测试是根据大量实际业务工作流程构建的，每个实例的设计都使得生成的工作流程可以转换并直接部署到 Dify 和 Coze 等实际工作流程平台。实验结果表明，虽然最先进的语言模型通常可以捕获高级意图，但它们很难生成正确、稳定和可执行的工作流程，特别是在考虑到复杂且不断变化的需求的情况下。尽管我们的代理基线解决率提升高达 6.05%，但现实世界中剩余的差距使 Chat2Workflow 成为推进工业级自动化的基础。代码可在 https://github.com/zjunlp/Chat2Workflow 获取。