NL2SHACL-Bench：自然语言到SHACL转换的基准套件

SHACL是验证RDF知识图谱（KG）一致性的核心技术。然而，编写SHACL形状需要多数领域专家所缺乏的技术专长。将自然语言需求转换为SHACL（NL2SHACL）可以降低这一门槛。然而，目前没有专门的NL2SHACL基准，且评估生成的形状需要超越字符串比较的方法，因为语义等价的形状在序列化和结构上可能不同。为应对这些挑战，我们提出NL2SHACL-Bench，一个面向自然语言到SHACL转换的基准套件。利用NL2SHACL-Bench，我们评估了四个最先进的大语言模型（LLM）在该任务上的表现。结果表明，当前LLM非常擅长生成语法有效的SHACL，但在为复杂的逻辑与结构模式生成语义等价约束方面仍有困难。这表明NL2SHACL-Bench为衡量NL2SHACL技术进展提供了有意义的基础。