利用 LLM 进行 Python 库的文档引导模糊测试

Python 库支撑深度学习、科学计算、数据分析和计算机视觉，使其可靠性对下游应用程序至关重要。测试其 API 需要满足每个参数约束和参数之间的依赖关系的输入。现有方法要么将此类约束隐含在生成的程序中，要么依赖于特定于库的解析规则。本文介绍了 VistaFuzz，这是一种文档引导的模糊测试技术，该技术使用本地服务的开源 LLM 从 API 文档中提取参数规范，并生成满足参数约束和参数间依赖关系的输入。我们在 12 个 Python 库的 7,718 个 API 上评估了 VistaFuzz。 40.1\% 的测试 API 中存在参数间关系，禁用其解析会将这些 API 的有效生成率从 95\% 以上降低到 31.6\%--52.8\%。 VistaFuzz 报告了 74 个问题，其中 43 个问题已得到开发人员确认，29 个问题已得到修复。