长视野移动 GUI智能体 的任务状态表示

虽然长视野移动 GUI智能体 通常依赖于思想-行动-观察循环，但它们很难将持久的任务状态与瞬态的屏幕观察分开。随着执行历史的增长，这种纠缠会带来严重的上下文负担，导致代理忘记最初的要求、产生幻觉或反复与陈旧的界面交互。为了解决这个问题，我们引入了任务状态表示（TSR），这是一个 无需训练 框架，它显式地将任务状态与感官输入解耦。作为轻量级外部包装器，TSR 维护三个结构化组件：全局指令摘要、子目标的动态进度跟踪器以及转换感知动作验证器。通过行动前和行动后的视觉比较不断更新，TSR 有效地指导智能体的推理，而无需进行架构修改。四个移动 GUI 基准测试的实验验证了 TSR 的有效性，使复杂的跨应用程序和内存密集型任务的成功率绝对提高了 12 个百分点。