面向自动工作流执行的自适应多模态智能体框架

现代信息系统需要能够驾驭复杂工作流的自主智能体，然而现有方法往往难以实现从结构化元数据解析到通用环境感知的过渡。尽管MLLM的引入使智能体能够直接与GUI交互，但现有方法通常将任务序列视为离散的线性片段。这种碎片化使智能体无法捕捉底层的转移拓扑，限制了它们在新颖或非平稳场景中的有效性。为解决这一问题，我们提出了一种新颖的多模态多智能体框架，通过独特的两阶段流水线实现自动工作流执行。首先，在离线发现阶段，该架构从碎片化的执行日志中自适应地构建拓扑知识库。在推理阶段，智能体在这个固定的、预先建立的图上利用自适应检索增强生成（RAG），并结合闭环协作验证协议来动态地自我纠正与导航。这种基于图的方法带来了更优的任务分解与自适应导航性能。我们在真实场景中验证了该框架，证明其即使训练数据有限也能保持高可靠性与语义感知能力。