EmpiriGraph-Psy：用于从心理学摘要中提取经验关系图的数据集和 LLM 管道

现有的科学关系提取基准主要针对计算机科学等领域，其中实体是任务、方法、数据集、材料或指标。这在心理学等以变量为导向的实证领域留下了空白，这些领域的发现被表达为结构、测量、干预和结果之间的关系。我们引入了以变量为中心的经验图提取，即将科学摘要映射到类型图的任务，其节点是标准化变量，其边代表经验和层次关系。为了支持这项任务，我们构建了 EmpiriGraph-Psy，这是 210 篇心理学摘要的基准，由经过领域训练的注释者使用归一化变量、概念层次结构、经验关系类型和验证状态进行注释。我们使用直接提取和分阶段图构建管道来评估前沿和开放权重 LLM，该管道将变量提取、标准化、层次结构构建、证据选择、关系提取和边缘验证分开。分级管道的性能明显优于直接提取，最佳配置的宏 F1 为 0.74。误差分析表明，调节关系和概念层次仍然是最具挑战性的情况，凸显了从科学摘要中提取高阶经验主张和隐含抽象结构的难度。