EmbeWebAgent：将 Web 智能体嵌入任意定制 UI

摘要

大多数 Web 智能体在人类界面层运作，只观察截图或原始 DOM 树而没有应用层访问权限，这限制了鲁棒性与动作表达力。但在企业环境中，前端和后端都可获得显式控制。我们提出 EmbeWebAgent，一个把智能体直接嵌入现有 UI 的框架，使用轻量前端钩子（精选的基于 ARIA 与 URL 的观测，以及经 WebSocket 暴露的每页函数注册表）和可复用的后端工作流来执行推理并采取行动。EmbeWebAgent 与技术栈无关（如 React 或 Angular），支持从 GUI 原语到更高层组合动作的混合粒度行动，并通过 MCP 工具编排导航、操作和领域特定分析。我们的演示显示改造工作量极小，并在真实 UI 环境中展现鲁棒的多步行为。在线演示：https://youtu.be/Cy06Ljee1JQ

EmbeWebAgent：将 Web 智能体嵌入任意定制 UI — 图2：EmbeWebAgent流水线。前端垫片（shim）通过WebSocket暴露经筛选的ARIA观测和逐页函数注册表。后端维护会话状态，根据当前页面过滤动作，并协调多智能体工作流来推断导航与操作动作，以及调用领域工具（通过MCP或Web API）。