论文

StepReflect:移动GUI Agent的结构化界面转换反思

StepReflect: Structured UI Transition Reflection for Mobile GUI Agents

模型推理推理验证与自校正

摘要

自主移动的GUI代理需要准确的动作反映以实现可靠的长期执行。现有的方法依赖于每个动作后的开放端多模态推理,这既昂贵又不符合GUI状态转换的结构化特性。我们提出StepReflect,将每步的GUI反射作为受监督的结构化预测,条件于明确的转换规范和配对的视觉证据。StepReflect通过阶段性的管道进行训练,结合了监督微调、教师-学生蒸馏以及偏好和奖励导向的改进。在离线环境中,生成的8B模型在AndroidWorld上达到82.16%的转换级准确率,超过零样本GPT-5.2 11.83个百分点,输入结构化。在线上,跨M3A、Agent-SAMA、MAI-UI-8B和Seed-2.0-Pro,StepReflect在四中代理配置中的任务成功率更高,并且与GPT-5.2反射代理的四中配置相比,在第四种配置下保持在一个成功的任务之内。它还减少了所有四种配置下的付费API费用。这些结果使StepReflect成为一种实用、本地部署的替代方案,用于长期执行的自主移动GUI代理。

StepReflect:移动GUI Agent的结构化界面转换反思:论文配图
图 2:StepReflect 的三阶段训练流程。有监督的微调适合转换标签和输出模式;师生蒸馏提供结构化的基本原理目标;随后的偏好优化完善了决策错误的权衡。