GPA：从演示中学习 GUI 流程自动化

GUI 流程自动化 (GPA) 是一种轻量级但通用的基于视觉的机器人流程自动化 (RPA)，只需单个演示即可实现快速稳定的流程重放。针对传统 RPA 的脆弱性和当前基于视觉语言模型的 GUI智能体 的非确定性风险，GPA 引入了三个核心优势：（1）通过基于顺序蒙特卡罗的本地化实现鲁棒性，以处理重新缩放和检测不确定性； (2) 通过准备校准保证确定性和可靠性； (3) 通过快速、完全本地执行来保护隐私。这种方法提供了企业工作流程所需的适应性、稳健性和安全性。它还可以被具有编码功能的其他代理用作 MCP/CLI 工具，以便代理仅进行推理和编排，而 GPA 处理 GUI 执行。我们进行了试点实验，将 GPA 与 Gemini 3 Pro（带有 CUA 工具）进行比较，发现 GPA 在完成长视野 GUI 任务时，执行速度提高了 10 倍，成功率更高。