论文

ConstructCIE:用于从建筑事故叙述中提取因果信息的数据集

ConstructCIE: A Dataset for Extracting Causal Information from Construction Accident Narratives

模型评测基准与评测资源

摘要

建筑事故叙述包含丰富的因果信息,但证据往往是隐性的、跨度大的、分散的。我们引入了 ConstructCIE,这是一个手动注释的数据集,用于从 OSHA 建筑事故报告中提取因果信息。该数据集使用事故类型、因果因素、次因果因素和支持证据范围的分层模式。我们在端到端分层提取设置中评估监督序列标记器和指令调整的 LLM。结果表明,大多数评估模型实现了强大的事故类型预测并恢复了广泛的因果意义,但在精确的跨度级别提取方面仍然有限。联合分层提取通常可以实现更强的精确匹配和软匹配,而单独分层提取有时可以实现更高的关键词F1。错误分布因提取策略而异,但证据选择和跨度边界错误仍然很常见。这些发现表明,可靠的建筑事故因果信息提取需要更强的领域基础和更准确的证据提取。代码和数据可以在 https://github.com/lab-flair/ConstructCIE 找到。