技术实践
天猫以编码Agent和Skills批量清理AB实验
概述
天猫团队因预发环境 AB 实验过期排查困难,决定治理过去一年积压的实验。作者对 CodingAgent 下七句指令完成全流程:先创建 ab-experiment-query skill(通过 IDEAs 平台 API 查询单个实验状态,提供 AK、工号与 appCode)。再让 Agent 用 grep 从代码中提取出 20 个 AB 实验 key 并批量调用 API 查询状态,结果 18 个已推全、2 个仍在运行,同时生成含实验 key、描述、代码路径、实验链接的 markdown 报告。 把该扫描能力固化为 scan-ab-experiments skill。再把二方库版本从 2.10.51-RELEASE 升级为 2.10.52-SNAPSHOT 并加入分支标识避免与其他开发者冲突,固化为 upgrade-snapshot skill。最后把 18 个已推全实验的逻辑固化到代码(将实验 key 置为空字符串并保留注释说明原值,属改动最小、风险最低的方案),生成含修改文件、固化实验清单、风险评估与测试建议的提测报告。 作者估算手动处理约需一周,用 CodingAgent 后只花一天做思考与 review。踩坑包括钉钉个人助理接口异步返回导致查询失败(改用 IDEAs API 并把文档交给 Agent 学习适配)、API 返回 JSON 含控制字符导致解析失败、多开发者版本号冲突、代码固化策略由删除改为置空。