路由在最有价值的地方是最难学的：Web 代理表示路由的界限

Web 代理通过文本、像素或两者来观察浏览器，并且对于所有任务，选择通常都是固定的。我们在 VisualWebArena 和 WebArena 上测量了八个站点模型组合（单元）的六种观察模式，并询问每个任务的选择会带来什么。这些模式是互补的：每种模式都解决了其他模式错过的任务，它们以结构上不同的方式失败，并且任务集之间的最佳选择相反。明显的奖励是为每项任务选择获胜模式的预言机，看起来很大，但由于运行之间的噪音而膨胀：在相同的任务上重新运行相同的模式会改变 12-14% 的结果，因此第二次运行已经在手的模式所获得的收益与添加新模式的收益差不多。剩下的就是成本限制：仅将没有模式解决的任务发送到最便宜的模式，在 8 个单元中的 8 个单元中，在成功率不变的情况下，成本降低了 9.5-30.6%。然后，我们测试了五种路由策略（选择模式、决定何时花在强模式上、读取任务文本的零成本规则、置信级联和池化成本层），没有一种策略比简单地修复一种精心选择的模式更好；唯一的例外是我们最稀疏的细胞中的脆弱结果。主要障碍是路由监督是根据代理的成功率产生的：代理越弱，路由器获得的标签就越少，而这正是路由最有价值的地方。这个限制属于今天的代理而不是路由本身。标签供应和路由机会一起上升（小区之间的相关性为 0.95），因此更强大的代理可以推翻结果，并且我们报告重新运行噪声带和完整的测量协议。