论文

BioPIE:用于高推理复杂性实验的生物医学协议信息提取数据集

BioPIE: A Biomedical Protocol Information Extraction Dataset for High-Reasoning-Complexity Experiment Question Answer

模型评测基准与评测资源

摘要

用于生物医学实验的问答(QA)系统促进跨学科交流,并作为下游任务(例如实验室自动化)的基础。高信息密度 (HID) 和多步推理 (MSR) 给生物医学实验 QA 带来了独特的挑战。提取结构化知识(例如知识图谱(KG))可以极大地有益于生物医学实验质量保证。现有的生物医学数据集侧重于一般或粗粒度知识,因此无法支持 HID 和 MSR 所需的细粒度实验推理。为了解决这一差距,我们引入了生物医学协议信息提取数据集(BioPIE),该数据集提供了以程序为中心的实验实体、动作和关系的知识图谱,其规模支持跨协议的生物医学实验推理。我们评估 BioPIE 上的信息提取方法,并实施利用 BioPIE 的 QA 系统,展示测试、HID 和 MSR 问题集的性能提升,表明 BioPIE 中的结构化实验知识支持人工智能辅助和更自主的生物医学实验。

BioPIE:面向实验理解的生物医学协议信息抽取数据集 配图
图 4:所提出 QA 系统的流水线。