论文

IntLawNER:国际法领域的命名实体识别数据集与基准

IntLawNER: A Named Entity Recognition Dataset and Benchmark in International Law

模型评测基准与评测资源

摘要

国际法为国家协调行动、规制武装冲突与保护人权提供规范框架,但其文本一直缺乏token级命名实体识别(NER)资源。我们推出IntLawNER,一个面向国际法成文来源的NER数据集与基准,涵盖来自国际法院(ICJ)判决、联合国安理会决议与欧洲人权法院(ECtHR)判决的2987个金标句子与8094个实体跨度,标注了七种机构特定实体类型。我们以低成本的算法-Agent混合流水线构建IntLawNER:通过候选检索、LLM审核与人工复查,将46.8万源句子精简为紧凑的标注集,其中89.6%的金标跨度未经修改地从银层接受。然而,银-金分析显示,人机聚合一致性指标在领域特定NER中可能具有误导性:边界匹配跨度上Cohen's kappa=0.964,但把缺失实体、边界错误与标签修正计入后,macro-F1仅为0.753。基准显示,基于跨度的零样本GLiNER在依赖机构功能而非表面形式的实体类型上崩溃(0.243 micro-F1),微调Transformer则在稀有标签上表现挣扎。精心挑选的、展示标签对比的少样本示例使所有LLM都优于零样本提示,其中Claude Opus 4.6取得最佳的0.873 micro-F1。我们发布IntLawNER作为提取国际法文本中引用信息的基准与可复用资源。