论文
迈向可扩展且经济高效的漏洞检测:自动查询生成的研究
Towards Scalable and Cost-Efficient Vulnerability Detection: A Study on Automatic Query Generation
摘要
静态分析仍然是软件安全的基石,但 CodeQL 等工具的有效性通常受到开发高覆盖率查询套件所需的大量手动工作的限制。虽然 大语言模型 (LLM) 已成为自动代码推理的潜在解决方案,但它们在生成结构化、可执行安全查询方面的实用性仍未得到充分探索。在本文中,我们进行了一项实证研究,以评估 LLM 使用国家漏洞数据库中的漏洞数据合成 CodeQL 查询的能力。通过这项调查,我们探索了使用 LLM 作为自动 CodeQL 查询生成器的潜力。随后,我们系统地评估了各种 LLM 架构在各种现实世界漏洞中的性能,衡量它们提高检测覆盖率和精度的能力。我们的研究结果表明,LLM 生成的查询显着增强了基线 CodeQL 查询,平均 F1 分数提高了 82%。此外,我们提供了详细的成本效益分析,表明虽然直接基于 LLM 扫描整个存储库通常在计算和财务上令人望而却步,但利用 LLM 合成 CodeQL 查询为大规模漏洞检测提供了可扩展且经济高效的替代方案。我们的结果表明,LLM 可以有效地弥合非结构化漏洞报告和正式静态分析规范之间的差距,为全面的自动化漏洞检测提供可扩展的路径。