论文

利用已解决的事件历史记录进行 LLM 辅助软件错误诊断

Leveraging Resolved Incident History for LLM-Assisted Software Bug Diagnosis

上下文与知识检索增强

摘要

有效的软件错误诊断需要两个要素:正确的知识源(操作故障历史记录,而不仅仅是系统文档)和正确的检索结构(结构化记录,而不是非结构化块)。当前的检索增强生成(RAG)方法在一个或两个维度上都存在不足。我们提出了操作内存 RAG (OM-RAG),它将解决的问题索引为结构化症状-根本原因-解决三元组,并通过单跳嵌入检索最相似的历史先例。 OM-RAG 为专门构建的 大语言模型 (LLM) 管理员提供支持,该管理员已操作生产 Dataverse 实例超过六个月,利用系统自身已解决的故障历史记录来操作监控-分析-计划-执行-知识 (MAPE-K) 反馈循环的知识组件。在受控的四配置消融中,基于 LLM 的判断涵盖了所有 1,172 个问题,并手动验证了 123 个问题子集。 OM-RAG 的诊断准确性为 0.931,修复正确性为 0.809,优于基于块的检索 (+186%) 和基于文档的概念图 (+77%)。无模型检索指标(平均相似度 0.880)独立证实了排名。