论文

面向多智能体生成式 AI 工作流的约束过程地图

Constrained Process Maps for Multi-Agent Generative AI Workflows

智能体系统Agent 架构与控制循环Agent Harness

摘要

基于大语言模型(LLM)的智能体正被越来越多地用于在合规与尽职调查等受监管场景中执行复杂的多步工作流。然而,许多 Agentic 架构主要依赖对单个智能体的提示工程,难以观察或比较模型如何在相互关联的决策阶段及人类监督下处理不确定性与协调。我们引入一个形式化为有限时域马尔可夫决策过程(MDP)、具有有向无环结构的多智能体系统。每个智能体对应特定角色或决策阶段(例如合规工作流中的内容、业务或法务审核),预定义的转移表示任务升级或完成。认知不确定性通过蒙特卡洛估计在智能体层面量化,而系统层面的不确定性由 MDP 终止于自动打标状态或人工审核状态来刻画。我们通过一个面向自我伤害检测的 AI 安全评估案例研究展示该方法,将其实现为一个多智能体合规系统。结果表明,相较单智能体基线有所改进,包括准确率最多提升 19%、所需人工审核最多减少 85 倍,且部分配置下处理时间有所降低。

面向多智能体生成式 AI 工作流的约束过程地图
图1:在流程图中显式划定各智能体的合规框架,在合规应用中可能颇具前景。蒙特卡洛模拟提供了一种机会,可以经验性地量化此类智能体标注过程的不确定性,而无需询问 LLM 其自身的不确定性或对 LLM 设置显式分布。这种设置使得能够学习升级(escalation)边上的转移概率,并识别出需要调整以提升输出准确率的智能体。