PolicyKG:将机构政策转化为SHACL知识图谱的Agentic LLM流水线
PolicyKG: An Agentic LLM Pipeline for Translating Institutional Policies into SHACL Knowledge Graphs
摘要
机构政策以自然语言存在,而执行合规检查的系统需要机器可读的约束。弥合这一鸿沟目前仍靠人工。PolicyKG实现了这一闭环:它是一条LLM流水线,读取政策PDF,把每句话分类为义务、许可或禁止,将标签提升为一阶道义逻辑,并输出SHACL约束。四个阶段运行在带逐阶段校验器的LangGraph状态机上。最关键的部分是语料适配器(Corpus Adapter):一个YAML词汇注册表,把LLM谓词锚定到目标本体。迁移到新领域意味着更换注册表,而非重训模型。在亚洲理工学院(AIT)政策与规程语料(1,663句、443条规则)上,PolicyKG道义分类准确率达86.9%(Cohen's kappa = .709)。三名标注者独立重标50项样本,一致性达Fleiss' kappa = .844。在69个形状的子集上,SHACL形状正确性F1 = .866。FOL路径处理了79.2%的规则,其余走自然语言到SHACL的直接回退。我们审计了全部443条规则中的二阶或更高阶构造:自动化正则清单未标记任何一例,第一作者对92个FOL回退案例的复核亦确认如此。真实HOL率的精确95% Clopper-Pearson置信上界为0.67%。这只是对一个语料的审计发现,并非一阶逻辑对机构政策充分性的证明。把AIT注册表换成GDPR注册表后,精确属性对齐从1/15提升到11/15(Fisher精确检验 p < .001;Cohen's h = 1.53)。在LexDeMod租约合同基准(N = 200)上,Macro F1降至.370,原因是租约英语用“shall be entitled”表达许可——这正是注册表替换本要解决的词汇失配问题。多次运行产出哈希一致的SHACL输出。