论文
StepReflect:移动GUI Agent的结构化界面转换反思
StepReflect: Structured UI Transition Reflection for Mobile GUI Agents
摘要
自主移动的GUI代理需要准确的动作反映以实现可靠的长期执行。现有的方法依赖于每个动作后的开放端多模态推理,这既昂贵又不符合GUI状态转换的结构化特性。我们提出StepReflect,将每步的GUI反射作为受监督的结构化预测,条件于明确的转换规范和配对的视觉证据。StepReflect通过阶段性的管道进行训练,结合了监督微调、教师-学生蒸馏以及偏好和奖励导向的改进。在离线环境中,生成的8B模型在AndroidWorld上达到82.16%的转换级准确率,超过零样本GPT-5.2 11.83个百分点,输入结构化。在线上,跨M3A、Agent-SAMA、MAI-UI-8B和Seed-2.0-Pro,StepReflect在四中代理配置中的任务成功率更高,并且与GPT-5.2反射代理的四中配置相比,在第四种配置下保持在一个成功的任务之内。它还减少了所有四种配置下的付费API费用。这些结果使StepReflect成为一种实用、本地部署的替代方案,用于长期执行的自主移动GUI代理。
