PhoneCLI：从应用程序界面到移动Agent的可调用命令

移动 GUI Agent通过感知-动作循环进行操作：在每一步中，它们都会对设备进行屏幕截图，调用视觉-语言模型 (VLM)，并发出一个动作。它速度慢、成本高且脆弱，但它所做的大部分工作都是导航——而日常导航是静态的、有序的、无休止地重复。我们引入了 PhoneCLI，它将应用程序的 GUI 导航编译为可调用命令，无需任何应用程序内部 API、运行时检测或模型训练。离线时，PhoneCLI 从外部探索目标应用程序，并将其屏幕、交互元素和导航边缘提炼成语义注释的地图；每个屏幕都会产生一个确定性命令：到达该屏幕的重播序列。在线时，Agent选择一个命令，在执行前对其进行验证，然后以零 VLM 成本在亚秒级时间内确定性地执行该命令；开放式交互和编译路径的每次失败都会回落到嵌入式 VLM 解释器（确切地说是纯 VLM Agent），因此编译只能提供帮助。在AndroidLab上，PhoneCLI提高了任务成功率，同时减少了步骤和词元消耗，并转移到AndroidWorld官方M3AAgent，具有一致的效率增益。 PhoneCLI 编译的是应用程序的导航而不是一次运行，因此它可以服务于新任务，而不仅仅是重复的任务。