技术实践
Meta测试团队提出JiTTests用LLM在代码合并前即时生成测试
概述
Meta工程师Mark Harman撰文提出,智能体化开发使代码编写、评审与上线全面提速,运行了约50年的传统测试范式——人工编写静态测试套件并持续维护——被推到极限:测试者必须为未来所有可能的变更预留断言,结果要么抓不到缺陷、要么产生误报,而Agent带来的变更速度把测试编写与维护成本放大到难以为继。文中给出替代方案Just-in-Time Tests(JiTTests):PR提交时由LLM即时生成针对该次变更的定制测试,合并前运行,测试不落入代码库,因此无需维护也无需评审测试代码;Catching JiTTest专抓该变更引入的回归,通过构造插入缺陷的突变体模拟潜在故障,再由规则与LLM混合的评估器集合过滤信号,把注意力集中到真实严重故障,压低误报;只有真正抓到缺陷时才需要工程师介入。边界:文章属方法论阐述,未披露在Meta内部的部署范围、命中率或误报率等数据。