论文
RunAgent SuperBrowser:扎根人类浏览行为的自主网页导航理论
RunAgent SuperBrowser: A Theory of Autonomous Web Navigation Grounded in Human Browsing Behaviour
摘要
我们提出了 SUPERBROWSER,这是一种自主网络导航代理,它是根据一个指导假设而设计的:网络代理应该以人浏览的方式进行浏览。阅读页面的人不会保留他们所看到的每个像素;他们会查看几个候选目标,做出一个决定,然后只记住保持目标所需的内容。我们将这种感知-认知-行动三元组运作为三个耦合机制。首先,视觉优先的边界框管道在每个屏幕截图上标记候选交互区域,并将它们异步预取到语言模型,以便“眼睛”先于“手”。其次,一个三角色大脑——一个分类和路由的协调器、一个每隔几步评估进度的规划器、以及一个发出每一步行动的工作人员——将战略推理与操作推理分开。第三,结构化账本只存储人们会存储的内容:目标、最后三个行动、一小部分事实和死胡同,以及一些检查点;六阶段驱逐循环系统地丢弃过时的屏幕截图、状态 blob 和实时上下文中的推理痕迹。动作执行是一个三层点击级联(Chrome DevTools 协议到 Puppeteer 到脚本化),具有人性化的贝塞尔运动,加上 V 形感知的边界框捕捉器,解决了“大标签旁边的小箭头”的歧义。在 Mind2Web Hard 基准测试(66 项任务)上,SUPERBROWSER 取得了 89.47% 的成功率,总体排名第三,并且大幅领先于所有已发布的开放/研究浏览器代理基准。我们认为,收益不是来自任何单一的技巧,而是来自整个系统中认知契约的一致应用。
