论文
通过自主体验探索和事后经验利用来进行任务规划,为 GUI智能体 提供支持
Empowering GUI Agents via Autonomous Experience Exploration and Hindsight Experience Utilization for Task Planning
摘要
多模式 Web 代理可以帮助人类操作重复的 GUI 任务,其中有效的任务规划对于将复杂任务分解为可执行操作至关重要。虽然与商业大型模型相比,小型开源 MLLM 具有成本效益和隐私保护功能,但它们的规划薄弱且跨网站泛化有限。为了解决这些限制,我们引入了规划经验探索和利用(PEEU)方法,该方法自主探索环境以发现经验,并利用事后经验来合成严格对齐的高级训练数据。为了定量分析驱动这种性能的泛化行为,我们提出了任务分解层次分析框架(TDHAF)来系统地研究跨三个任务粒度(低、中、高级别)的组合泛化。我们的分析表明,掌握低水平的原子技能并不能保证高水平的规划能力,而高水平的任务训练可以产生更强的 OOD 泛化能力。现实世界基准的实验证明了 PEEU 的卓越有效性:我们的 7B 模型达到了 30.6% 的准确率,优于更大的 Qwen2.5-VL-32B 模型。这些表明构建事后高水平任务和利用经验对于小型 MLLM 的 OOD 规划能力至关重要。