论文
Android GUI智能体对运行时异常稳健吗?AnTrap:在动态对抗环境中评估智能体
Are Android GUI Agents Robust Against Runtime Anomalies? AnTrap: Evaluating Agents in Dynamic Adversarial Environments
摘要
GUI智能体在Android设备上部署时经常遇到动态异常,从意外弹窗到动作误用,但现有基准缺乏对智能体抗运行时异常稳健性的系统评估。我们提出AnTrap,一个向智能体执行轨迹注入动态扰动的综合基准。我们提出一个分类体系,将现实世界异常组织为四层(状态State、思考Thinking、动作Action和轮次Round)共十个细分子类,并开发了一个在引入现实对抗条件的同时保持任务可解性的构建流水线。通过评估16个领先的GUI模型,我们揭示了对动态异常的普遍脆弱性:即使最强的模型也遭受显著性能下降。此外,我们在原始和对抗环境中分别进行GRPO训练以验证本基准,将环境可学习的异常与推理瓶颈型异常区分开。我们的发现表明,虽然状态层和动作层的单步陷阱大部分可以通过对抗强化学习解决,但深度上下文陷阱(如状态死锁)暴露了仅在带陷阱环境中训练无法解决的内在局限。
