论文

UI-Oceanus:利用综合环境动力学缩放 GUI智能体

UI-Oceanus: Scaling GUI Agents with Synthetic Environmental Dynamics

模型训练合成数据

摘要

扩展通才 GUI智能体 受到昂贵的人类演示的数据可扩展性瓶颈和综合教师监督的“蒸馏 天花板”的阻碍。为了超越这些限制,我们提出了 UI-Oceanus,这个框架将学习重点从模仿高级轨迹转移到通过 真值 环境反馈掌握交互物理。通过对自我监督目标的系统研究,我们发现前向动力学(定义为未来界面状态的生成预测)是可扩展性的主要驱动力,并且显着超过逆向推理。 UI-Oceanus 利用这种洞察力,将由系统执行直接验证的低成本自主探索转换为高密度生成监督,以构建强大的内部世界模型。对一系列模型的实验评估证明了我们方法的决定性优势:在合成动力学上使用 Continual 预训练 (CPT) 的模型优于非 CPT 基线,在离线基准上平均成功率提高了 7%,这在现实世界在线导航中提高了 16.8%。此外,我们观察到导航性能随着合成数据量的增加而变化。这些结果证实,前向预测建模中的基础代理为可扩展的 GUI 自动化提供了一条卓越的途径,具有强大的跨域适应性和组合泛化能力。