针对 REST API 的基于多代理 LLM 的变形测试

随着 REST API 成为软件系统中越来越重要的一部分，它们的验证也变得更加重要。因此，测试和发现潜在问题对于提高软件质量至关重要。然而，测试 REST API 具有挑战性，主要是因为难以评估 API 调用的输出是否正确，即测试预言机问题。变形测试是一种基于规范的测试方法，适用于正确输出未知或未明确指定的情况。为了检查系统的正确性，需要指定不同输出之间的关系。我们提出了 ARMeta，这是一种工具支持的方法，它使用基于 LLM 的多代理工作流程来支持使用 OpenAPI 记录的 REST API 的变形测试。代理工作流程用于识别变形测试场景并以“Given-When-Then”格式指定它们。这些场景自动实现为可执行测试，并针对被测系统执行。我们在两个公开提供 REST 接口的 Web 应用程序上评估 ARMeta，并将其性能与基于场景的测试基准进行比较。结果表明 ARMeta 探索的行为可以作为现有基于场景的测试方法的补充。