论文
LogNEO：用于精确实时日志异常检测的 GPT-Neo 强化学习框架
LogNEO: A GPT-Neo Reinforcement Learning Framework for Accurate Real-Time Log Anomaly Detection
摘要
检测大规模系统日志中的异常对于现代计算基础设施的可靠性和安全性至关重要。我们提出了 LogNEO，这是一种基于 EleutherAI 的 GPT-Neo（1.3B 参数）构建的日志异常检测器，并通过新颖的部分信用、指数衰减位置感知奖励方案与通过近端策略优化 (PPO) 的交叉熵正则化相结合进行了微调。位置感知奖励明确地模拟了预测难度：早期的位置因正确的预测而获得更高的奖励，而较晚的位置因错误而受到更强的惩罚。 LogNEO 在 HDFS、BGL 和 Thunderbird 基准测试中的 F1 分数分别为 0.927、0.913 和 0.984，与之前最先进的 LogGPT 相比，召回率提高了 6 个百分点，同时保持了相当的精度。通过 Apache Kafka、Redis 和 TensorRT 加速推理进行的生产微服务部署显示，每秒处理 15,000 个事件时，端到端延迟为 45 毫秒。