技术实践

天猫以最小风险策略和人工审查治理实验固化

AI 基础设施模型评测应用与实践AI 开发与运维平台评测方法与指标编程

概述

作者把报告作为控制过程的方式:每完成一步生成一份报告——实验状态报告(哪些已推全、哪些仍在运行)、代码固化报告(修改了哪些文件、改了哪些实验)、提测报告(修改文件列表、固化实验清单、每个实验改造摘要、风险评估、测试建议),便于随时掌握进度与发现问题。代码固化阶段 Agent 进入计划模式并主动询问固化方式(置空还是删除判断逻辑),作者选择将实验 key 改为空字符串并加注释说明原值(如 [AB已推全-2026.02.02] 原值: AB_202407291048_1537),改动最小、风险最低且保留变量定义便于后续逐步清理。 固化完成后仍由人工 review 检查四项:实验是否真的可以下线、代码修改是否正确、是否有遗漏实验、注释是否完整,发现问题及时修正。作者总结 AI 不是替代而是增强:前提是会“指挥” Agent——知道何时让它做什么、如何给明确指令、如何 review 结果。