iOSWorld：个人智能电话代理的基准

一个有用的电话代理需要具有个人智慧。它应该根据设备上存在的用户身份、历史记录和偏好进行推理，而不仅仅是遵循非个人沙箱中的孤立指令。现有的移动代理基准测试缺乏这种个性化。我们推出了 iOSWorld，这是第一个交互式原生 iOS 模拟器基准测试，围绕跨 26 个新建 iOS 应用程序的持久用户身份构建。这些应用程序包含交易、消息、旅行记录、社交关系和财务活动等互联数据。 iOSWorld 包含 133 项任务，涵盖三个日益困难的类别。单应用程序任务 (27) 测试一个应用程序，多应用程序任务 (60) 涵盖 2 到 8 个应用程序，内存和个性化任务 (46) 要求代理从个人数据推断模式。我们在仅视觉和特权视觉+XML 设置中评估前沿和开源计算机使用模型。最佳配置总体达到 52\%，但在多应用任务上仅达到 37\%。特权视觉 + XML 访问将前沿模型改进了高达 26 个百分点，而较小的模型无法从添加的可访问性树输入中受益。我们将 iOSWorld 作为开源基准发布，其中包含所有应用程序、种子数据、任务、评分标准和评估代码。