APITestGenie：使用 LLM 根据需求和 API 规范生成 Web API 测试

现代软件系统严重依赖 Web API，但创建有意义且可执行的测试脚本仍然是一项主要手动、耗时且容易出错的任务。在本文中，我们介绍了 APITestGenie，这是一种利用 大语言模型 (LLM)、检索增强生成 (RAG) 的新颖工具，并提示工程人员直接根据业务需求和 OpenAPI 规范自动生成 API 集成测试。我们在 10 个实际 API 上评估了 APITestGenie，其中 8 个 API 包含来自汽车领域工业合作伙伴的约 1,000 个实时端点。在最多三次尝试后，该工具能够为 89\% 的测试业务需求生成语法和语义上有效的测试脚本。值得注意的是，一些生成的测试揭示了 API 中以前未知的缺陷，包括端点之间的集成问题。统计分析确定 API 复杂性和业务需求的详细程度是影响成功率的主要因素，API 文档的详细程度也会影响结果。行业从业者的反馈证实了对采用的浓厚兴趣，大大减少了编写验收测试的手动工作量，并提高了测试与业务需求之间的一致性。