AndroidReality：移动智能体距离真实世界还有多远？

摘要

移动智能体在AndroidWorld等干净的在线基准上取得了可观成果，但在真实部署中，由于环境变化与不完善的界面条件，其性能往往急剧下降。在本工作中，我们提出AndroidReality，一个基于扰动的移动智能体鲁棒性评估与改进框架。通过马尔可夫决策过程（MDP）视角，我们将真实世界的界面变化组织为沿状态、转移与动作三个轴的原则化扰动分类。在该分类指导下，我们在AndroidWorld之上构建了一个带真实且可控扰动注入的受扰移动基准，支持对移动智能体进行系统的鲁棒性评估。评估揭示了显著的鲁棒性差距与四类反复出现的错误，由此催生了一个简单的免训练测试时间内省恢复（TTIR）机制，可在受扰与干净两种设置下缓解这些失败。这些结果共同将鲁棒性定位为移动智能体评估中缺失的维度，并确立基准扰动作为压力测试和暴露移动智能体潜在弱点的有效工具。

AndroidReality：移动智能体距离真实世界还有多远？：论文配图 — 图1：AndroidReality引入的扰动示例，旨在模拟移动智能体在真实部署中面临、但现有基准大多忽视的条件。状态级扰动修改观察表面，包括字号变化、UI主题变化、显示密度和屏幕尺寸变化、方向切换、地区/日期格式变化以及部分加载骨架屏等。动作级扰动改变智能体预期动作的执行，包括真实的动作延迟、随机丢弃动作、冻结或加载中的执行状态、需要重启的应用挂起，以及重置回主屏幕。转移级扰动插入意外的中间状态，包括试用优惠、插页广告、同意表单、权限对话框、安全弹窗、评分提示、通知以及应用/系统更新提示。