PhoneBuddy：训练代理电话使用的开放模型

电话正在成为通用代理的重要执行表面，但训练开放模型以实现可靠的电话使用仍然很困难，因为部署时重要的环境（运行真实应用程序的真实设备）缓慢、有状态、有副作用，并且难以重置或验证，而可扩展的模拟环境仅近似真实行为。我们推出了 PhoneBuddy，这是一种用于代理电话使用的训练配方和开放模型系列，它将真实应用程序环境与模拟应用程序环境 PhoneWorld 相结合，PhoneWorld 从真实的 GUI 使用结构重建可运行的模拟应用程序。 PhoneBuddy 首先根据在两个环境中收集的轨迹构建共享的监督 微调 阶段，然后将两个环境中的真实应用 RL 与混合 RL 进行比较。在跨越应用程序、迷你应用程序和跨应用程序工作流程的真实手机上进行的 150 项任务人工评估中，任务成功率从监督 微调 后的 36.67\% 提高到实际应用 RL 后的 40.67\% 和混合 RL 后的 45.33\%。在 AndroidWorld 上，同样的进展从 60.3\% 上升到 77.2\%，再到 83.2\%。这些结果表明，模拟应用训练并不是真实应用强化学习的替代品，而是可扩展、可重置和自动检查交互的补充来源。应用程序和迷你应用程序任务的收益最为强劲，而长期横向跨应用程序工作流程仍然是一个重要的开放挑战。