PrecogUI：通过预认知模拟和经验检索实现主动 GUI Agent

现有的反应式图形用户界面（GUI）Agent经常在长期动态场景中失败，其中意外干扰会引发注意力转移和级联故障。为了解决这个问题，我们提出了 PrecogUI，这是一种预认知架构，可将范式从被动执行转变为主动决策。具体来说，我们设计了一个主动体验池（PEP），它将重复出现的异常和成功模式缓存为双内存存储库中的“状态-操作-结果”元组。此外，我们引入了主动模拟执行器 (PSE)，它可以学习预测给定候选操作的下一个符号 UI 布局，从而实现早期异常避免并根据预测的可靠性对候选操作进行排名。最后，预认知执行控制器（PEC）融合这些先验和预测，优先处理预见的异常，并通过闭环纠错机制确保执行的鲁棒性。为了进行稳健的评估，我们开发了自动数据生成引擎AutoTraj，以构建InterfereBench，这是具有强干扰的长视野任务的基准。实验表明，PrecogUI 在 InterfereBench 上超越了最先进的方法，同时在公共基准上保持了有竞争力的性能。该代码将公开。