论文

答案很便宜,给我证据!用证据增强自动漏洞评估

Answer Is Cheap, Show Me the Evidence! Augmenting Automated Vulnerability Assessment with Evidence

模型训练强化学习

摘要

软件漏洞 (SV) 评估通过描述报告的漏洞特征来帮助确定修复的优先级。现有的自动化方法通过 SV 报告 (SVR) 预测评估结果,但常常忽略富文本信息,例如屏幕截图和代码片段,以及有关易受攻击项目的上下文信息。它们还专注于预测准确性,而不提供解释或支持证据,这在分析师必须验证不完美的预测时限制了它们的实际使用。我们提出 EAVA,一个使用 大语言模型 (LLM) 来评估 SV 并提供支持证据的框架。 EAVA 采用专门的 LLM 代理来处理富文本内容和项目信息,并通过两阶段训练管道构建专用评估模型。它首先使用自动注释推理轨迹上的监督指令调整来注入领域知识,然后应用强化学习来改进内在推理。 EAVA 还检索了类似的历史漏洞作为补充证据。对新收集的 SVR 数据集进行的实验表明,EAVA 在多个指标上的表现优于最强基线 5.3% 至 35.2%。消融研究证实了特定于评估的 模型训练 和信息丰富的有效性。与安全专家进行的用户研究进一步表明,EAVA 提供的证据对于现实世界的 SV 评估是有用且实用的。