KRCA：通过代理 AI 实现超大规模微服务系统中的高效根本原因分析系统

超大规模微服务系统已经成为大型互联网公司的标准基础设施。这些系统由许多松散耦合的微服务组成，这些微服务通过持续开发和部署而独立发展。这种复杂性使得故障不可避免，需要高效的根本原因分析 (RCA) 来帮助站点可靠性工程师 (SRE) 快速定位根本原因服务并对故障类型进行分类。然而，现有的 RCA 方法往往难以适应这些系统的极端动态和大规模。在本文中，我们提出了 KRCA，这是一种专为超大规模微服务系统设计的端到端 RCA 系统。为了管理庞大的搜索空间，KRCA 采用多级管道，从 API 级深入分析开始，以隔离可疑服务。然后，它根据异常指标实例化一个基于骨架的因果图，作为高召回率结构先验，然后利用内存增强的多代理框架来验证因果关系并生成最终的故障报告。通过将结构化因果约束与多主体推理相结合，KRCA 平衡了诊断准确性与实时生产使用的效率要求。实验结果表明，KRCA 在根本原因服务定位和故障类型分类方面取得了 0.88 和 0.79 的 AC@1 分数，在绝对收益方面比最强基线至少高出 31%。 KRCA已在快手生产环境部署6个多月，平均诊断时间缩短77.3%。