论文

BaRA:预算有限且可靠的 Web 数据收集代理

BaRA: Budget-constrained and Reliable Web Data Collection Agent

智能体系统Agent 架构与控制循环

摘要

基于 大语言模型 (LLM) 的 Web 代理可自动执行 Web 导航和数据收集。然而,实时网络数据收集需要的能力超出了完成任务的能力:代理必须在固定的交互预算内发现站点内部页面并以可访问的形式检索文本、图像和视频工件。我们将此设置制定为预算受限的站点级多模式 Web 数据收集,并提出预算受限且可靠的代理 (BaRA)。 BaRA 执行基于广度优先搜索 (BFS) 的链接发现和活性验证,以过滤幻觉链接和死链接,然后使用基于规则的来源和可访问性检查来验证提取的多模式工件。基于历史的自我反思模块可以从执行失败和不完整的输出中恢复。在受控的合成网站和真实网站上,BaRA 持续改进现有代理的有效链接发现和下载有效多模式提取。我们的代码可在 https://github.com/MLAI-Yonsei/BaRA-Agent 获取。