LogCopilot：通过 大语言模型 自动进行日志聚合分析

日志记录软件运行时的行为，广泛应用于调试、测试、故障诊断等各种任务。随着系统规模和复杂性的增加，日志分析逐渐成为一项具有挑战性的任务。目前的工业系统通常使用Grafana Loki、ELK等日志聚合系统来简化日志收集和分析过程。工程师使用这些系统提供的DSL查询语言编写查询可以完成各种日志分析任务。然而，编写这些查询通常非常耗时且费力，因为它需要工程师对 DSL 语法和日志中包含的详细信息有透彻的了解。为了应对这些挑战，本文提出了LogCopilot，一种基于大语言模型（LLM）的自动化日志聚合分析框架。 LogCopilot接受自然语言日志分析指令，通过知识检索和工具调用完成自动化日志分析。 LogCopilot 构建了一个分层知识库来表示和提供日志中的关键知识。它通过生成和执行LogQL查询来实现自动化日志聚合分析。基于四个日志数据集的评估证实了 LogCopilot 的有效性，其平均准确率达到 76.8%，优于基线方法。此外，实验结果表明LogCopilot在LogQL查询生成方面是有效的。