论文
NL2Test 将真实流量与确定性护栏结合生成回归测试
Industrial Practice of LLM-Based Test Case Carving and Assertion Generation (Experience Paper)
摘要
微服务系统的企业回归测试常受文档不完整或过时的限制。质量工程师经常利用真实执行流量重建业务场景,但将原始流量转为可回放、具有稳定验证逻辑的回归测试,仍耗费大量人工且容易出错。本文介绍NL2Test:根据自然语言场景描述及执行该场景时采集的流量,生成可执行API回归测试的端到端方法与工具。它处理相互关联的两项任务:测试用例切分,抽取最小可回放请求序列、重建数据依赖,使动态值从响应绑定而非硬编码;断言生成,使断言符合业务意图,同时避开非确定性字段和幻觉路径。NL2Test使用大语言模型进行语义解释及受约束代码合成,并用确定性算法过滤请求、通过值一致性确认依赖、校验断言路径。在一家大型消费互联网公司的51个工业回归场景中,精确匹配率为82.4%(42/51);允许少量后续编辑时,可用草稿覆盖98.0%(50/51)的场景。自2025年3月开始的九个月生产部署中,生成了3,196条测试用例,整体代码采纳率85.4%。结果表明,依据真实流量生成、结合确定性护栏,可降低人工投入,改善复杂微服务系统的回归自动化。
