LLM在自动RDF知识图生成中的性能评估

云系统生成大量异构日志数据，其中包含关键基础设施、应用程序和安全信息。将这些日志转换为 RDF 三元组可以将其集成到知识图谱中，从而提高可解释性、根本原因分析和跨服务推理，超出原始日志的范围。 大语言模型 (LLM) 提供了一种有前景的自动 RDF 知识图生成方法；然而，它们对复杂云日志的有效性在很大程度上仍未得到探索。在本文中，我们使用具有两个管道的受控框架来系统地处理半结构化日志数据，评估了多种 LLM 架构和自动 RDF 提取的提示策略。提取管道集成了多个LLM来识别相关实体和关系，自动生成主谓宾三元组。这些输出使用专用的验证管道进行评估，并具有句法和语义指标，以评估准确性、完整性和质量。由于缺乏公共 真值 数据集，我们使用手动注释和本体驱动方法从 OpenStack 日志创建了参考 Log-to-KG 数据集，从而实现了客观基线。我们的分析表明，Few-Shot 学习是最有效的策略，Llama 实现了 99.35% 的 F1 分数和 100% 有效的 RDF 输出，而 Qwen、NuExtract 和 Gemma 在 Few-Shot 提示下也表现良好，思想链方法保持了类似的准确性。一次性提示提供了一种更轻松但有效的替代方案，而零次提示和高级策略（例如思想树、自我批评和生成多个）的表现要差得多。这些结果强调了上下文示例和提示设计对于准确 RDF 提取的重要性，并揭示了 LLM 架构中特定于模型的限制。