论文
UI-Voyager:自我进化 GUI智能体 通过失败的经验学习
UI-Voyager: A Self-Evolving GUI Agent Learning via Failed Experience
摘要
随着多式联运 大语言模型 (MLLM) 的进步,自主移动 GUI智能体 引起了越来越多的关注。然而,现有的方法仍然存在从失败的轨迹中学习效率低下的问题,以及在长期 GUI 任务奖励稀疏的情况下贡献归因不明确的问题。为此,我们提出了 UI-Voyager,一种新颖的两阶段自我进化移动 GUI智能体。在第一阶段,我们采用拒绝采样微调(RFT),它使得数据和模型能够在完全自主的循环中持续共同进化。第二阶段引入了群组相对自我蒸馏(GRSD),它识别群组采样轨迹中的关键分叉点,并构建从成功轨迹到纠正失败轨迹的密集步骤级监督。 AndroidWorld 上的大量实验表明,我们的 4B 模型实现了 81.0% Pass@1 成功率,超越了许多最近的基线,并超过了人类水平的表现。消融和案例研究进一步验证了GRSD的有效性。我们的方法代表了向高效、自我进化和高性能移动 GUI 自动化的重大飞跃,无需昂贵的手动数据注释。