开源项目
crw:网页抓取与结构化提取引擎
us/crw
概述
crw(fastCRW)是一个网页内容获取引擎,为 AI 应用提供搜索、抓取、站点映射、爬取与结构化提取能力,面向需要给模型提供网页数据的开发者。项目本次首次发布:单个 Rust 引擎可把 URL 转为干净的 Markdown 或结构化 JSON,既可下载小型二进制在本地运行,也可选用官方托管 API,后者提供带免费额度的试用入口;代码以 AGPL-3.0 许可开源。对需要稳定网页数据管道的 Agent 应用,它提供了本地与托管两种接入方式。