DevicesWorld：异构环境中跨设备代理的基准测试

基于 LLM 的代理在操作移动应用程序、桌面系统和智能家居等个人数字环境方面得到了快速改进。然而，现实世界的用户目标通常跨越多个设备：信息可能来自手机，在桌面上处理，结果可能需要显示在另一台设备上。大多数现有基准测试都以单一主导执行环境为中心，因此很难评估代理是否可以跨异构设备获取和集成信息，并完成具有跨设备依赖性的端到端任务。我们介绍DevicesWorld，一个跨设备协作操作的大规模可执行基准测试。 DevicesWorld 包含 6,140 个任务，并将三类设备环境（移动、桌面和物联网）集成到统一的跨设备交互和评估框架中。每个任务定义自然语言用户目标、参与设备和初始状态、可执行操作、基于规则的验证器和清理过程。多阶段构建和质量控制管道使任务接近实际的用户需求，同时允许根据设备状态和生成的文件自动验证最终结果。我们在固定评估集上评估五个前沿 LLM 代理系统。所有方法的成功率都很低，最好的仅达到 12.5%。在失败的运行中，大约 28.7% 满足至少一项评分条件，但仍然未能完成完整任务。轨迹表明，代理在获取信息或操作界面时陷入困境，混淆源设备和输出设备，或者在所有条件同时满足之前终止。 DevicesWorld 将跨设备协作操作转变为可执行的、可重现的、诊断上有用的评估问题，用于研究可靠的跨设备代理。