论文

HyMobileAgent:数据环境协同扩展以实现高效 GUI智能体

HyMobileAgent: Data-Environment Co-Scaling for Efficient GUI Agents

智能体系统Agent 环境交互

摘要

随着大型多模式模型从理解内容转向在数字环境中运行,移动 GUI 已成为数字具体智能的具有挑战性且重要的测试平台。移动代理在三个耦合约束下运行:复杂界面的精确感知、高质量交互数据的可扩展获取以及复合执行错误下稳健的长期决策。本报告介绍了 HyMobileAgent,这是一种基于 Hy3.0-VL-A3B 构建的移动 GUI智能体,这是一种视觉原生基础模型,具有原生任意分辨率输入、A3B 规模的部署预算和用于对扩展交互历史进行建模的 32K 上下文窗口。我们开发了一个以数据和环境为中心的联合扩展框架来解决移动交互的关键瓶颈,而不是仅仅依赖于模型扩展。我们的框架集成了 GUI 感知飞轮,结合了模拟界面合成、拒绝采样和特定于图标的增强;将教程视频转换为结构化交互数据的知识管道;部署在 2000 多个沙箱和真实设备实例上的百万级操作数据管道,并具有自动故障归因功能; PhoneWorld Mock App Factory,提供可重置的训练环境,包含 34 个模拟应用程序和超过 34000 个任务;结构化的规划与反思机制,具有明确的死循环检测功能,可实现可靠的长期执行。我们还引入了渐进式训练方法,包括中期训练、监督 微调 以及具有特定任务奖励设计的强化学习。