PhoneWorld：从真实应用程序轨迹到电话使用代理的动态且可验证的环境

真实的应用程序提供最接近电话代理部署的训练设置，但很难以编程方式重置、安全扩展和验证。静态截图和交互轨迹保留了真实的证据，但无法产生新的体验。我们引入了 PhoneWorld，这是一个基于跟踪的框架，可将此类证据转换为可运行、可重置和可验证的 Android 环境。 PhoneWorld 从观察到的页面、转换和状态更改操作中引入使用加权的交互框架；将其转化为基于行为的应用程序规范；通过自主构建-检查-修复循环来实现规范；并通过编程验证器综合可执行任务。由此产生的套件涵盖 16 个领域的 34 个面向消费者的应用程序，并通过常见的重置和验证接口支持经过审核的在线基准、经过验证的轨迹生成以及在线强化学习。对各种通用和开源GUI智能体的评估表明，PhoneWorld支持可靠的端到端在线交互，并公开了与AndroidWorld互补的功能。受控 SFT 实验进一步表明，PhoneWorld 轨迹补充了 AndroidWorld 监督，跨在线和离线基准进行传输，并且随着数据量和应用覆盖范围的增加而变得更加有效。在匹配的 RL 预算下，将 PhoneWorld 模拟应用程序部署与真实应用程序部署相结合，可以在真实电话任务和 AndroidWorld 上比单独使用真实应用程序 RL 提高性能。总之，这些结果表明，基于跟踪的可执行抽象可以将现实的移动行为和可扩展的代理学习联系起来，将有限的真实应用程序证据转化为越来越多的可控制和可验证的训练和评估环境。