技术实践
Meta用AI智能体群沉淀大规模数据管道的部落知识
概述
Meta数据平台团队把AI智能体直接指向一条跨4个代码库、3种语言、4,100+文件的大规模数据处理管道时,发现智能体因不了解代码库内部约定与跨模块依赖等「部落知识」,难以快速做出有效修改。为此团队构建预计算引擎:调度50+个专用AI智能体系统读完每个文件,产出59份25-35行(约1,000 token)的精简上下文文件,把AI上下文覆盖率从约5%提升到100%,并沉淀50+条此前从未成文的非显性模式,知识层与模型无关,可配合多数主流模型使用。质量上经三轮独立critic评审把评分从3.65提至4.20(满分5.0),引用文件路径零幻觉。初步测试显示,带预计算上下文的智能体每任务工具调用与token消耗约减少40%,原本需约两天调研并向工程师请教的复杂流程指引缩短到约30分钟。系统每几周自动校验文件路径、检测覆盖缺口、重跑critic并修复过期引用,且已生成跨仓库依赖索引,把「什么依赖X」类查询从约6,000 token的多文件探查降为约200 token的图谱查询。