论文

De Jure:用于监管规则结构化抽取的迭代式LLM自精炼

De Jure: Iterative LLM Self-Refinement for Structured Extraction of Regulatory Rules

上下文与知识知识获取与更新

摘要

监管文件承载着基于LLM的系统必须遵守的法律约束义务。然而,将密集且层级化的法律文本转换为机器可读规则仍是一个高成本、高度依赖专家的过程。我们提出De Jure,一个完全自动化、领域无关的管道,用于从原始文档中抽取结构化监管规则,无需人工标注、领域特定提示或标注的黄金数据。De Jure通过四个顺序阶段运行:将源文档规范化为结构化Markdown;由LLM驱动的语义分解,生成结构化规则单元;跨元数据、定义和规则语义共19个维度的多准则LLM-as-a-judge评估;以及在有限再生成预算内对低分抽取结果的迭代修复,其中上游组件先被修复再评估规则单元。我们在覆盖金融、医疗和AI治理的三个监管语料上、跨四个模型评估De Jure。在金融领域,De Jure在抽取质量上取得一致且单调的提升,在三次裁判引导的迭代内达到峰值性能。De Jure能有效地泛化到医疗和AI治理领域,在开源与闭源模型上均保持高性能。在通过RAG进行的下游合规问答评估中,基于De Jure抽取规则生成的回答在单规则检索深度下于73.8%的案例中优于先前工作,在更宽检索下升至84.0%,证实抽取保真度可直接转化为下游效用。这些结果表明,显式且可解释的评估标准可以在复杂监管领域替代人工标注,为基于监管的LLM对齐提供了可扩展且可审计的路径。