产品与服务

火山引擎云手机应用助手(Mobile Use Agent):自然语言驱动的 AI 驱动 UI 自动化测试方案

AI 重构测试行业!火山引擎云手机应用助手重磅来袭!

智能体系统AI 基础设施应用与实践Agent 工具调用Agent 环境交互Sandbox编程

概述

云手机应用助手(Mobile Use Agent)是依托火山引擎云手机底层能力与豆包大模型多模态技术的 AI 驱动 UI 自动化测试一体化方案,打造「自然语言驱动 + 智能自主执行」范式,提供 7×24 小时的 AI 测试员。三项核心能力:测试人员以自然语言描述需求(如「登录账号,完成商品下单全流程验证」)即可由 AI Agent 自主拆解并完成全流程测试,无需编写代码;与 TRAE、Claude Code、Open Code、Codex、Antigravity 等开发平台高度集成、开箱即用,Skills 获取地址为 https://clawhub.ai/volcengine-skills/byted-ai-mobileuse-agent;依托多模态大模型的视觉理解与语义分析做像素级界面分析,识别 UI 元素的功能属性与布局逻辑,不再依赖固定 ID 或 XPath,按钮 ID 或布局变化后仍可精准识别目标元素,实现脚本自主适配与自愈。正文称与行业同类 AI 测试方案相比,其任务执行成功率更优、在 15 步以上长流程测试中表现突出,综合使用成本仅为行业同类方案的 1/4;已部署落地的企业测试总拥有成本(TCO)普遍实现 40%—60% 的结构性下降,节省约 80% 的脚本维护工时,对拥有 500 个测试用例、每周一次 UI 迭代的 APP,由传统 2 名全职测试维护脚本降至 0.5 名员工做结果复核,人力成本降低 75% 以上。适用场景为高频迭代 APP 全量回归、7×24 小时兼容性测试与用户体验量化测试。