论文

基于LLM的业务流程文档漏洞发现

LLM-based Vulnerability Discovery in Business Process Documentation

模型评测模型能力评测

摘要

就像软件和硬件一样,业务流程也容易受到漏洞的影响,从而导致产品质量问题、延迟和成本增加。业务流程漏洞可能由多种来源引起,包括冲突的需求、不明确的文档、无效的测量规范、质量检查的遗漏或与规范不同的实现。 MIRABELLE 是一个系统,可从可用的业务流程表示中识别和表征业务逻辑 (BL) 漏洞,包括 ISO 9000/9001 文档、用户指南、工作说明和流程执行日志。 MIRABELLE 利用 AI/ML 的最新进展来处理可用的业务流程文档,并生成业务逻辑的属性图表示,可以使用图和形式逻辑方法来处理该表示,以识别潜在的漏洞。然而,由于所需的领域专业知识、固有的流程复杂性以及有时非常大量的信息,从大多数自然语言工件中提取业务逻辑(例如,操作执行序列、决策、输入/输出资源)具有挑战性。本文重点介绍我们对 大语言模型 (LLM) 的实验及其在 MIRABELLE 中的作用。我们报告了多个 LLM 在漏洞检测的关键阶段的性能,从简短短语中的语法和技术错误标记,到完整的流程结构恢复和提取。