论文
用非推理型大语言模型从自然语言生成工作流有向无环图
Generating Workflow DAGs from Natural Language with Non-Reasoning LLMs
摘要
本文解决了将业务管理员编写的自然语言路由规则转换为企业联络中心的可执行工作流图的问题。每个目标都是条件操作的有向无环图 (DAG),具有并行分支、先命中后备链和每分支布尔谓词,并以商业路由平台的 JSON 方言进行编码。我们表明,神经符号分解可以使低成本、非推理大语言模型以与生产相关的质量生成复杂的工作流程 DAG,而无需昂贵的扩展推理模型。我们的核心诊断是排放密度瓶颈:在制造的合成数据的 635 规则基准上,模型以高精度选择正确的图形节点,但随着一次传递中排放的相互依赖节点数量的增长,属性和布尔分组的错误配置越来越多。因此,我们将组合图构造从模型转移到由紧凑的中间表示驱动的确定性编译器中,并具有学习的注册表选择前端,该前端专注于相关词汇的生成。在四个模型中,整个系统达到了大约 89% 的 LLM 判断有效性、大约 90% 的精确匹配条件准确性和 99-100% 的有效 JSON,同时使用整体提示的每规则提示标记的大约一半。在 GPT-5.3-chat 上,该方法将判断有效性提高了 24 个百分点,并实现了与推理模型开箱即用质量的统计等效性,尽管仍然存在大约 8 个百分点的前沿差距。我们还提供了结构化生成应用程序的部署路径和可转移的经验教训。
