超越 GUI 范式:移动代理需要电话屏幕吗?
Beyond the GUI Paradigm: Do Mobile Agents Need the Phone Screen?
摘要
移动代理的最新进展以 GUI 范式为主,其中代理感知 UI 信息并发出屏幕交互。但是,移动平台还公开了命令行界面 (CLI),可提供对设备服务和数据的直接访问。我们认为 CLI 值得与 GUI 一起得到一流的考虑。我们在 AndroidWorld 和 MobileWorld 上的四个模型 API 上评估了三个 编码智能体(Claude Code、Terminus-2、mini-swe-agent),没有任何特定于移动设备的 后训练,并与三个可重现的 GUI 基线(GUI-Owl-1.5-32B、MAI-UI、Qwen3-VL-32B)进行比较。 Claude Code (Opus 4.7) 达到 71.8\% 和 51.9\%,优于所有可重现的 GUI 基线(AndroidWorld 上为 69.3/68.1/57.8\%;MobileWorld 上为 43.2/26.3/13.3\%),而其他所有 CLI 配置仍然具有竞争力。为了建立范式的上限,我们提供的 Oracle CLI 解决方案在 AndroidWorld(103/116 个任务 CLI 可解决)上达到 88.8%,在 MobileWorld(101/117 个任务 CLI 可解决)上达到 86.3%,这表明未来还有很大的改进空间。为了涵盖 GUI 范围之外的日常用户意图,我们引入了 \textbf{CLI-Advantage Task Suite},其中包含 5 个类别的 45 个模板:批量操作、多条件过滤、聚合、跨应用程序工作流程和隐藏设备状态。每个 CLI 代理在所有五个类别中都优于每个 GUI 基线,每个任务的步骤要少得多(10.7 与 18.6)。为了支持未来对移动 CLI 代理的研究,我们将开源代理实现、Oracle 解决方案、CLI-Advantage 套件和评估基础设施。