论文

Paper2Data:从科学文献中大规模 LLM 全球城市数据提取和元数据构建

Paper2Data: Large-Scale LLM Extraction and Metadata Structuring of Global Urban Data from Scientific Literature

应用与实践科学研究

摘要

城市数据支持跨多个学科的广泛应用。然而,在全球范围内,还没有统一的城市数据发现平台。因此,研究人员通常必须手动搜索网站或科学文献来识别相关数据集。为了解决这个问题,我们策划了一个开放的城市数据发现门户 \textit{UrbanDataMiner},它支持数据集级搜索和过滤从超过 15{,}000 份自然相关出版物中提取的 60{,}000 多个城市数据集。 \textit{UrbanDataMiner} 由 \textit{Paper2Data} 启用,这是一种新颖的大规模 LLM 驱动的管道,可自动识别科学论文中提及的数据集并使用统一的城市数据元数据模式构建它们。人工注释评估表明,\textit{Paper2Data} 在数据集识别方面实现了高召回率(约 90%),并且在字段级精度方面实现了高准确率(高于 80%)。此外,\textit{UrbanDataMiner} 可以检索超过 9\% 的通过通用搜索引擎(例如 Google)不易发现的数据集。总体而言,我们的工作为城市数据发现提供了第一个大规模的、源自文献的基础设施,并实现了更系统和可重用的跨学科数据驱动研究。我们的代码和数据是公开的\footnote{https://github.com/Yourunwen/Paper2Data}。