开源项目
agent-fetch:面向Agent的完整网页抓取工具
teng-lin/agent-fetch
概述
agent-fetch 是一个面向 AI Agent 与内容处理流程的完整网页抓取工具:内置抓取常因服务器识别客户端指纹而返回截断或区别响应,它通过浏览器模拟让服务器按真实浏览器对待请求,再用多策略正文提取取得全文,输出带标题、链接与列表的 Markdown。采用 MIT 许可证,提供 CLI 与编程接口及多页爬取命令,支持持久 Cookie 与自定义 CSS 选择器,全部本地运行,无需 API Key 或云服务。搭建 RAG 管线或需要完整文章进上下文的开发者可直接安装使用。