论文

刻画大语言模型智能体工作流:n8n生态研究

Characterizing Large Language Model Agentic Workflows: A Study on N8n Ecosystem

模型评测智能体系统Agent Harness模型行为与机制分析

摘要

大语言模型(LLM)正被快速采纳于低代码与无代码自动化平台——非专家用户设计把自然语言理解与外部服务及API结合的工作流。LLM智能体是以LLM为核心“大脑”推理、规划并自主执行复杂多步任务的LLM系统。本文呈现低代码自动化平台中LLM智能体工作流的首个大规模实证研究。我们分析超6,000个公开可得的n8n工作流——检视其设计四方面:任务分布、结构与工具使用模式、可靠性机制与自主性水平。我们的分析表明LLM工作流不只是提示响应管线。相反——LLM常嵌入更广泛的自动化结构——涉及控制逻辑、外部工具、通信服务、存储系统与人工审查点。我们进一步发现:虽然许多工作流在LLM执行后包含轻量后处理或路由逻辑——但结构化回退路径、修复循环、失败专属警报与人工批准门等显式可靠性机制仍相对少见。这些结果揭示LLM智能体在实际自动化生态中日益增长的部署与可靠性、安全性、治理的有限工程支持之间的缺口。总体而言——我们的研究为寻求理解并改进真实世界LLM智能体工作流的研究者、平台开发者与从业者提供十个实证发现与五个研究启示。

刻画大语言模型智能体工作流:n8n生态研究:论文配图
图 1:带有 GPT-4 自动生成草稿回复的 Gmail 电子邮件分类器