论文

SCOPE与SCION:面向文本模式归纳与融合的基准及可审计参考流水线

SCOPE and SCION: A Benchmark and an Auditable Reference Pipeline for Schema Induction and Fusion from Text

模型评测上下文与知识本体基准与评测资源

摘要

模式图是基于模式的信息抽取与知识图谱构建的上游瓶颈,但大多数抽取系统都假设模式已经存在。我们提出SCOPE(Schema Construction and Ontology-induction Pipeline Evaluation),一个仅用训练文本的基准,用于从原始文本做语料到模式的归纳以及可选的模式融合,它由24个公开信息抽取数据源(15个RE和9个EE)构建,并归一化为仅用于评测的金标模式图;其核心事件抽取目标涵盖事件类型与事件内论元角色,事件间链接单独报告。我们提出SCION(Schema Construction and Induction with Ontology Normalization),这是一个可审计的参考流水线,而非新的抽取架构;它从训练文本构建候选空间,并在严格的JSON契约下将命名、合并、过滤、验证与保守融合限制在候选关联的证据上。在SCOPE核心套件上,SCION-lite在已发布源模式参考、Text2Onto风格、纯LLM以及匹配的先抽取再聚合基线中,按照Literal、Fuzzy、Continuous和Graph四种模式图指标取得最高F1;而紧凑的开源模型变体SCION-RL降低了对专有LLM模式工程师的依赖。这些结果是对照归一化的带类型边目标报告的,并非宣称归纳出的模式超越人工本体设计;发布内容包括证据关联的输出、解析/回退日志、候选保留/合并日志、运行清单、代码与基准包,见 https://github.com/wandugu/paper_scion。

SCOPE与SCION:面向文本模式归纳与融合的基准及可审计参考流水线:论文配图
图 1:SCION 框架概述。从仅训练文本语料库和可选的现有本体包开始,系统构建具有关系类型、事件类型和事件内角色的模式图,然后可选地将其融合到统一的模式/本体工件𝒪fusion\mathcal{O}_{\text{fusion}}以进行下游知识图提取。