论文
PlotGround:真实科学图形及其源数据中的绘图数字化基础
PlotGround: Grounding Plot Digitization in Real Scientific Figures and Their Source Data
摘要
科学数据通常对定量结果进行编码,而这些结果不容易以机器可读的形式获得,这使得准确的绘图数字化对于验证和重用已发表的发现非常重要。然而,目前尚不清楚当前模型如何准确地从真实的科学数据中恢复绘制的值,因为现有的基准主要依赖于合成图表或仅涵盖有限范围的图表类型。我们介绍 PlotGround,这是一个自动化管道,用于根据真实的科学数据及其作者发布的源数据构建绘图数字化基准。 PlotGround 将数字映射到源表,识别可重构面板,并使用基于源的参考值生成定量问题。我们使用 PlotGround 构建了 PlotGround-1k,这是一个经过人工验证的基准,包含来自 1,066 个 bioRxiv 预印本的 1,119 个问题。在 16 个多模态模型中,最好的模型在 $\pm 5\%$ 相对误差容限下达到 87.5% 的准确度。将容差收紧到 $\pm 2\%$ 会使每个模型的准确性降低 11-24 个百分点,揭示了近似视觉读数和精确定量回收率之间的差距。 PlotGround 的配对图形-源结构使我们能够比较从图形和源表中恢复相同值的准确程度。提供源表而不是数字可将编码智能体的准确性从 90.0% 提高到 97.4%,同时将成本降低 72%。
