沙丘社区
论文

Mobile-Agent-v3.5：多平台基础 GUI 智能体

Mobile-Agent-v3.5: Multi-platform Fundamental GUI Agents

Haiyang Xu, Xi Zhang, Haowei Liu, Junyang Wang, Zhaozai Zhu, Shengjie Zhou, Xuhao Hu, Feiyu Gao, Junjie Cao, Zihua Wang, Zhiyuan Chen, Jitong Liao, Qi Zheng, Jiahui Zeng, Ze Xu, Shuai Bai, Junyang Lin, Jingren Zhou, Ming Yan
模型训练AI 基础设施强化学习SandboxAgentic RLAgent Sandbox

摘要

本文介绍 GUI-Owl-1.5，最新的原生 GUI 智能体模型，提供多种规模的 instruct/thinking 变体（2B/4B/8B/32B/235B），支持桌面、移动、浏览器等多种平台，以实现云边协同与实时交互。GUI-Owl-1.5 在 20 多个 GUI 基准上取得开源模型中的 SOTA 结果：（1）在 GUI 自动化任务上，OSWorld 得分 56.5，AndroidWorld 得分 71.6，WebArena 得分 48.4；（2）在定位（grounding）任务上，ScreenSpotPro 得分 80.3；（3）在工具调用任务上，OSWorld-MCP 得分 47.6，MobileWorld 得分 46.8；（4）在记忆与知识任务上，GUI-Knowledge Bench 得分 75.5。GUI-Owl-1.5 融合了几项关键创新：（1）混合数据飞轮（Hybird Data Flywheel）：我们基于模拟环境与云端沙箱环境相结合，构建用于 UI 理解和轨迹生成的数据流水线，以提升数据收集的效率与质量。（2）智能体能力统一增强：我们使用统一的思维合成流水线增强模型的推理能力，并特别注重提升关键智能体能力，包括工具/MCP 使用、记忆与多智能体适应；（3）多平台环境强化学习扩展：我们提出新的环境强化学习算法 MRPO，以应对多平台冲突和长程任务训练效率低的挑战。GUI-Owl-1.5 模型已开源，在线云端沙箱演示见 https://github.com/X-PLUG/MobileAgent。

Mobile-Agent-v3.5：多平台基础 GUI 智能体
图3：GUI-Owl-1.5 交互流程示意图。系统消息定义可用的动作空间，用户消息包含任务指令、压缩历史和当前观察，而响应消息包含智能体的推理、动作摘要和最终动作输出。