论文

PlotGround:真实科学图形及其源数据中的绘图数字化基础

PlotGround: Grounding Plot Digitization in Real Scientific Figures and Their Source Data

模型评测基准与评测资源

摘要

科学数据通常对定量结果进行编码,而这些结果不容易以机器可读的形式获得,这使得准确的绘图数字化对于验证和重用已发表的发现非常重要。然而,目前尚不清楚当前模型如何准确地从真实的科学数据中恢复绘制的值,因为现有的基准主要依赖于合成图表或仅涵盖有限范围的图表类型。我们介绍 PlotGround,这是一个自动化管道,用于根据真实的科学数据及其作者发布的源数据构建绘图数字化基准。 PlotGround 将数字映射到源表,识别可重构面板,并使用基于源的参考值生成定量问题。我们使用 PlotGround 构建了 PlotGround-1k,这是一个经过人工验证的基准,包含来自 1,066 个 bioRxiv 预印本的 1,119 个问题。在 16 个多模态模型中,最好的模型在 $\pm 5\%$ 相对误差容限下达到 87.5% 的准确度。将容差收紧到 $\pm 2\%$ 会使每个模型的准确性降低 11-24 个百分点,揭示了近似视觉读数和精确定量回收率之间的差距。 PlotGround 的配对图形-源结构使我们能够比较从图形和源表中恢复相同值的准确程度。提供源表而不是数字可将编码智能体的准确性从 90.0% 提高到 97.4%,同时将成本降低 72%。

PlotGround:真实科学图形及其源数据中的绘图数字化基础的原论文方法或结果图
图 1:PlotGround 管道概述。给定一篇被组织为文件系统(手稿、图表和补充源表)的 bioRxiv 论文,Mapping 会根据标题和文本内参考文献等文本证据提出候选图表绑定;视觉定位仅保留其值可以可靠重建的面板,并记录重建方案,拒绝不明确的方案;综合遵循配方,验证重新计算的值,并仅使用图形可见标签编写问题。为了清楚起见,该示例显示了一个带有缩写问题文本的面板。实际数据通常是多面板的,并给出完整的模型(附录 A.2)。