复杂 Web 任务的结构化交互、视觉定位和稳健执行：WebRetriever 挑战赛的技术报告

本报告介绍了为 WebRetriever Challenge 开发的网络Agent系统。该系统遵循结构化交互优先的策略，使用语义网页信息进行常规浏览器操作，并仅在结构化表示不足时调用视觉感知。介绍了三个关键设计：用于难以访问的控件的网格辅助视觉定位、用于减少冗余页面和交互历史的分层上下文管理以及用于稳定的多浏览器任务处理的故障感知执行机制。该系统在Protocol 1的本地评估中取得了高达79%的通过率。在Protocol 3的官方比赛中，在8个并发浏览器工作者的情况下取得了59%的通过率，并获得了总排名第一，赢得了WebRetriever Challenge。