LegacyWorld：针对遗留工作流程的 GUI智能体 的原子性感知评估

遗留和类似遗留的企业系统通常仍然难以实现现代化，因为关键工作流程暴露了有限的可编程接口，并且仍然需要手动 GUI 交互。本文报告了一项由遗留用途开发推动的部署前评估研究，遗留用途是一种面向行业的框架，用于通过多模式 LLM 代理实现此类工作流程的自动化。在框架开发过程中，领域专家帮助确定了有状态的工作流程，其中成功的演示是不够的：失败的代理运行可能仍然会在业务​​或医疗记录中留下持续无效的更改。因此，我们使用原子性来评估计算机使用代理：运行应该正确完成预期的工作流程，或者失败，而不会产生意外的持久副作用。我们构建了一个包含 28 个 Windows GUI 工作流程的领域专家基准测试，每个工作流程都指定了初始状态、目标状态和特定于任务的验证器。我们将专家制作的提示与专家专家参考路径执行的屏幕记录生成的提示进行比较。在六个托管的计算机使用代理中，我们的结果表明，有用的完成、安全的失败和非原子副作用是不同的操作配置文件。我们的结论是，工作流捕获、状态验证器和原子性感知验收测试应该是基于人工智能的遗留工作流自动化的首要要求。