论文
用真实失败分类修订漏洞分析提示
Learning from Failures: A Failure-Driven Prompt Refinement for LLM-Based Vulnerability Analysis
摘要
大语言模型已成为软件漏洞分析的有前途的工具,但其有效性在很大程度上取决于及时的设计。现有的研究主要使用总体绩效指标来比较提示策略,对模型失败的原因或如何系统地改进提示提供的见解有限。我们提出故障驱动的即时细化(FDPR),这是一种分析重复出现的模型故障以指导基于证据的即时细化的方法。使用 Damn Vulnerable Java Application (DVJA),我们可以识别重复出现的故障模式,包括误报、漏报、不受支持的推理和 CWE 错误分类,并将它们转化为有针对性的提示改进。然后,我们在 Juliet 测试套件上评估生成的提示,并执行跨模型验证以评估普遍性。结果表明,故障驱动的细化提高了基于 LLM 的漏洞分析的可靠性,同时产生可重用的提示设计原则。更广泛地说,这项工作表明,重复出现的模型故障为快速工程提供了原则基础,从而能够系统地开发更可靠的基于 LLM 的漏洞分析系统。