用于延迟优化 Web 代理规划和调度的代理 JIT 编译

计算机使用代理 (CUA) 通过生成对工具（例如在浏览器上单击、键入和滚动）的调用序列，自动执行使用自然语言指定的任务，例如“从 Taco Bell 订购最便宜的商品”。当前的实现遵循顺序的获取-屏幕截图-执行循环，其中每次迭代都需要 LLM 调用，从而导致高延迟和因工具使用不当而导致的频繁错误。我们提出了代理即时 (JIT) 编译，这是一种将任务描述直接编译为可执行代码的系统，其中可能包括 LLM 调用、工具调用和并行化。我们的方法包括三个组成部分：（1）JIT-Planner，它生成多个代码计划，根据工具规范验证每个计划，并选择成本最低的候选者； (2) JIT-Scheduler，通过从学习到的延迟分布进行蒙特卡洛成本估计来探索并行化策略； (3) 不变执行工具协议，指定前置条件和后置条件要求，以减少错误工具使用率。在五个应用程序中，JIT-Planner 比浏览器使用实现了 10.4 美元的加速和 28 美元更高的准确度，而 JIT-Scheduler 比 OpenAI CUA 实现了 2.4 美元的加速和 9% 的更高准确度。