论文

TSG Suggester:用于云事件管理中故障排除指南推荐的树形结构知识图检索

TSG Suggester: Tree-Structured Knowledge-Graph Retrieval for Troubleshooting Guide Recommendation in Cloud Incident Management

上下文与知识知识图谱

摘要

大规模云服务中的待命工程师在巨大的时间压力下工作,但为事件查找正确的故障排除指南 (TSG) 仍然主要是手动、关键字驱动的过程,并且先前的实证工作发现指南搜索消耗了总缓解时间的很大一部分。我们推出了 TSG Suggester,这是一个直接根据事件描述推荐相关 TSG 的检索系统。我们评估了五种检索策略:仅文本 RAG、图像增强 RAG、RAPTOR、树结构检索以及我们提出的树 + 知识图 (Tree+KG),针对来自生产事件管理系统上 18 个服务团队的 112 个独特 TSG 中的 314 个现实事件。 Tree+KG 将每个指南转换为保留其本机部分层次结构的树,将 LLM 生成的问题抽象附加到内部节点,以桥接指南的面向解决方案的语言和事件的面向问题的语言,提取每个指南实体知识图,并将嵌入相似性与查询时的实体级别匹配融合在一起。 Tree+KG 获得了 54.78% Top 1 和 82.48% Top 5 准确率,在每个截止点领先于每个基线,与纯文本 RAG 相比,Top 1 提高了 8.58 点。有两项研究结果具有独立意义。首先,结构对齐占主导地位:在精确区分很重要的情况下,保留或重建文档结构的方法优于平面分块。其次,与我们最初的假设相反,多模态丰富会带来积极的伤害。相对于仅文本基线,字幕指南屏幕截图和注入字幕花费 22.64 前 5 个点,因为通用字幕会稀释嵌入而不是锐化嵌入。我们报告这两个结果的错误分析并提供具体的部署指导。