PhoneHarness：通过混合 GUI、CLI 和工具操作来利用电话使用代理

人们越来越期望电话座席能够完成真实的移动工作流程，而不仅仅是预测下一个屏幕操作。然而，当前的许多移动代理文献仍然主要将代理评估为 GUI 控制器，这些控制器观察屏幕、发出点击和滑动操作，并根据目标应用程序状态进行评分。真正的手机使用任务更广泛：它们需要决定何时使用应用程序 GUI、设备端命令或结构化工具，同时留下证据表明预期的副作用确实发生了。我们引入了 PhoneHarness，这是一种混合操作基准测试和执行工具，用于研究可验证移动工作流程上的电话使用代理。 PhoneHarness 在 GUI、CLI 和主机端工具操作上运行设备端代理循环，将确定性操作路由与有界 GUI 委派和可审核的执行跟踪相结合。其基准测试 PhoneHarness Bench 评估智能体完成任务时是否存在可观察到的副作用，而不仅仅是评估它们是否产生合理的最终答案。在带注释的评估中，PhoneHarness 达到了 75.0% 的通过率，比最强的非 PhoneHarness 设置高出 12.9 个百分点。因此，PhoneHarness 和 PhoneHarness Bench 扮演着不同但相互依赖的角色：该工具使混合电话工作流程可执行，而基准测试则衡量代理是否可以可靠且安全地使用该工具。我们的研究结果表明，可靠的电话自动化取决于操作界面路由和可验证的执行，而不仅仅是视觉 GUI 控制。