论文

LogSemFuse:用于可解释日志异常检测的语义证据融合

LogSemFuse: Semantic Evidence Fusion for Explainable Log Anomaly Detection

摘要

日志异常检测对于现代软件系统的可靠性监控和故障诊断至关重要。现有的基于模型的检测器提供有用的异常信号,但它们仍然可能错过异常会话,并且通常仅公开分数或标签,而不是决策背后的操作语义。即使最终的异常标签是正确的,语义证据的缺乏也限制了他们解释会话为何异常的能力。这种差距在实践中很重要,因为操作员需要区分紧急故障和良性偏差,并将可疑会话追溯到具体的操作行为。 LLM 可以恢复更丰富的日志语义,但将它们用作独立检测器或重复生成自由格式的解释可能成本高昂且难以重用。我们推出了 LogSemFuse,这是一个以证据为导向的插件框架,可以增强现有的骨干检测器,而无需替换其原始管道。 LogSemFuse 将主干预测与来自本地事件模式的可重用语义证据、基于 LLM 的语义推理以及集群派生的可执行规则相结合,以生成异常决策和基于证据的解释。生成的输出报告最终标签以及支持它的语义证据,例如触发的本地模式、触发的规则和 LLM 基本原理。我们使用 DeepLo​​g、LogAnomaly、LogBERT 和 NeuralLog 作为骨干在 HDFS、BGL 和 Liberty 上评估 LogSemFuse。 LogSemFuse 改进了每个不完美的基线,保留了已经完美的情况,恢复了 98.8% 的骨干假阴性,并在人类研究中产生优于直接 LLM 解释的解释。这些收益只需要适度且稳定的推理时间开销,这表明语义增强可以提高检测有效性和可解释性,而无需施加大量运行时间成本。