CelerLog：通过动态路由进行快速日志解析

日志解析是自动日志分析的基本步骤，它将原始日志消息转换为结构化格式。现有的基于语法的解析器难以处理复杂的日志，因为它们缺乏语义推理能力。新兴的 LLM 支持的语义解析器可实现高精度，但由于它们在所有日志中应用语义推理，因此会遭受过高的延迟和词元成本。我们的主要观察结果是，并非所有日志都需要复杂的语义理解：绝大多数日志都表现出重复的模式，可以通过简单的统计分析来提取。在这种洞察力的推动下，我们提出了 CelerLog，一种快速有效的日志解析器。 CelerLog引入了动态路由机制，将日志分为密集组和稀疏组。具有强统计模式（密集组）的日志由高效的统计处理器处理，而缺乏此类模式的稀疏组则被路由到 LLM 以进行语义推理。这种混合策略避免了不必要的 LLM 调用。对 14 个公共数据集的大量实验表明，CelerLog 在最先进的基线上实现了领先的性能，比 LLM 方法快 7.9 倍到 18.6 倍，比 Drain 快 1.5 倍。此外，它还通过将词元消耗减少 80.2% - 94.1% 和 LLM 调用减少 86.4% - 90.9% 来降低成本。