迈向安全日志记录：使用 LLM 描述日志代码安全问题并对其进行基准测试

日志代码通过记录关键事件和行为在软件系统中发挥着重要作用，这对于调试和监控至关重要。然而，不安全的日志记录做法可能会无意中暴露敏感信息或引发日志注入等攻击，对系统安全和隐私构成严重威胁。先前的研究已经检查了日志代码中的一般缺陷，但对日志代码安全问题的系统分析仍然有限，特别是在利用 LLM 进行检测和修复方面。在本文中，我们对日志代码安全问题进行了全面的分类，包括 4 个常见问题类别和 10 种相应模式。我们进一步构建了一个基准数据集，其中包含 101 个经过手动审核和注释的真实日志记录安全问题报告。然后，我们提出了一个自动化框架，该框架结合了各种上下文知识来评估 LLM 检测和修复日志记录安全问题的能力。我们的实验结果揭示了性能上的显着差异：虽然 LLM 在检测安全问题方面效果中等（例如，平均准确度范围从 12.9% 到 52.5%），但它们在可靠地生成正确的代码修复方面面临着明显的挑战。我们还发现，问题描述本身比安全模式解释或两者的组合更能提高 LLM 的检测准确性。总的来说，我们的研究结果为从业者提供了可行的见解，并强调了当前 LLM 在安全日志记录方面的潜力和局限性。