重新审视网络代理的观察减少：使用轻量级框架进行综合评估

基于 LLM 的 Web 代理中的 HTML 观察结果非常长，虽然已经提出了许多减少方法，但仍不清楚哪些方法可以在保持性能的同时减少整体代理延迟。主要障碍是端到端评估的成本高昂：在我们的实验中，在 WorkArena L1 的 33 项任务上评估 32 种配置的 11 种方法需要 232.4 累计小时。为了解决这个问题，我们提出了一个基于最小失败集（MFS）的轻量级评估框架，这是最小的 HTML 元素集，其删除会导致任务失败。我们将覆盖率定义为缩减方法完全保留 MFS 的实例的比例，它充当既不需要 Web 访问也不需要 LLM 推理的代理指标。我们验证了覆盖率与端到端成功率密切相关，两个基准的累积评估时间加速超过 100 倍。使用此框架，我们发现提取式 HTML 缩减方法需要高计算成本或特定于域的优化，才能在保持性能的同时减少代理延迟。在此基础上，我们优化了 MFS 训练数据的剪枝程序，在 WorkArena L1 上实现了 2.2$\times$ 更快的每步延迟，同时保留了 84\% 的原始成功率，在 WebLinx 上实现了 3.1$\times$ 的更快，同时保留了 89\% 的成功率。