SEE：长视野 GUI智能体 轨迹合成的结构感知探索和利用

由视觉语言模型支持的图形用户界面（GUI）代理有望实现现实世界移动任务的自动化。然而，由于缺乏从元素丰富且快速发展的应用程序中收集的高覆盖率、长视野的交互轨迹，进展受到限制。现有的管道通常依赖于成本高昂的人工演示或 同策略 框架，这往往会对常见流程进行过度采样，同时错过罕见的转换和复杂的多步骤过程。为了解决这个问题，我们提出了 SEE，这是一个两阶段的数据合成框架，包括（i）一个高效的探索阶段，在屏幕和元素上构建显式的 UI 转换图，以及（ii）一个基于图的合成阶段，通过规划和受控采样组成不同的多步骤轨迹。这种设计产生可重复和可解释的数据，同时明确防止杂散周期并实现长视野组合。在多个现实世界的应用程序中，SEE 生成平均长度为 14.8 步的轨迹，同时避免虚假循环，并且在 SEE 上微调的代理可以提高任务成功率并泛化到看不见的屏幕。我们将公开发布我们的合成代码和数据集。