火山引擎 Computer Use Agent 新能力上线：云端沙箱桌面上的 GUI 自动化智能体

Computer Use Agent 是火山引擎一款运行在云端沙箱桌面、基于多模态大模型的企业级 AI 智能体，面向云电脑/浏览器场景的 UI 自动化，能通过视觉理解屏幕内容、自主规划执行步骤、稳定完成鼠标键盘操作，在真实桌面环境中代替用户完成端到端任务，覆盖信息检索、表单填写、跨系统数据搬运以及复杂工作流自动化，并通过技能持续沉淀持续优化执行效果。技术架构围绕「感知→规划→执行→反思」闭环，含六项能力：视觉感知（实时截屏 + OCR + DOM + Accessibility Tree 多通道融合）、自主规划（基于多模态大模型的 Plan → Act → Observe → Replan 闭环推理，遇意外自动调整策略）、稳定执行（跨平台鼠标/键盘精准控制，覆盖 Web / Linux / Windows）、安全沙箱（独立隔离的云端虚拟桌面，敏感操作二次确认，不触碰本机数据）、技能沉淀（常用操作自动沉淀为可复用 Skill）、可观测（实时回放、步骤追踪、失败诊断、人工接管）；以感知层→规划层→执行层→沙箱层→可观测层构建端到端数据流，通过火山 APIG 网关服务对外提供统一入口，底层可无缝对接火山 ECS 及第三方资源。模型底座为豆包大模型矩阵，内置模型各司其职并通过 MCP 协议协同：视觉深度思考模型负责看懂屏幕、理解上下文、规划任务步骤；原生面向图形界面交互（GUI）的 Agent 模型负责精准定位并操作 UI 元素、与桌面 Sandbox 交互；语义向量化模型负责检索历史上下文、为 Agent 提供长期记忆。云原生底座包括 ECS 云服务器（承载 Windows / Linux 远程虚机）、VPC 私有网络 + NAT 网关 + EIP（隔离虚拟网络与可控公网访问）、云搜索 OpenSearch（可选，为 Agent 绑定长期记忆、保存企业专属上下文）、日志服务 / 云监控 / APMPlus（可选，实现指标、链路与日志一体化观测）。安全侧支持操作回放、审计与差异比对，支付、删除等敏感操作强制二次确认，支持数据加密传输及字段级脱敏，基于火山引擎 Jeddak AICC 提供 Web 密钥托管，遵循最小权限原则。目标交付指标：浏览器 + 桌面场景下端到端完成 ≥80% 常见办公任务，单任务平均人工接管率 <15%，任务成功率 ≥85%。接入方式三种：控制台体验（CUA 体验中心 https://console.volcengine.com/ACEP/computer-use-agent ，支持提示词一键优化、视频录制提取提示词、知识库管理，新用户可免费体验 30 分钟）、Open API / SDK（通过 REST / WebSocket 把 CUA 嵌入业务系统，支持任务下发、状态回调、结果回流，并可编排复杂业务工作流）、ECS 部署（通过火山 ECS 一键部署 CUA，或将自有设备接入 CUA 服务）；云端沙箱桌面基于 noVNC 的可视化远程桌面，可实时查看 Agent 操作过程并支持人工随时接管。