MobileExplorer：通过在线探索加速移动GUI智能体的端侧推理

移动图形用户界面（GUI）智能体让AI模型能够代表用户自主操作智能手机。然而，大多数现有系统主要关注优化任务准确率，并依赖云端托管模型进行推理，这带来了隐私担忧与依赖网络的延迟。因此，移动GUI智能体的完全端侧部署仍未得到充分探索。我们提出MobileExplorer，一个通过在线探索加速基于视觉的移动GUI智能体端侧推理的新框架。其关键思想是利用视觉语言模型（VLM）每步较长的推理时间，对UI元素进行轻量级并行探索。在模型推理期间，智能体主动探测语义相关的UI元素，并将这些探索轨迹记录为结构化记忆。为确保在真实移动环境中的可靠执行，我们设计了二级回滚机制，当快速但朴素的回退策略失效时，可稳健地恢复初始UI状态。随后将收集到的探索轨迹总结为简明的上下文提示并注入提示词，以增强后续推理步骤。我们在多款现成设备上使用AndroidWorld基准，以及新设计的更复杂任务与动态端侧环境对MobileExplorer进行评估。MobileExplorer将平均推理步数与端到端延迟降低23%，同时将任务成功率保持不变或最高提升5%。MobileExplorer真实世界表现的演示视频可在 https://youtu.be/thK7MJmdlvM 观看。