图表学：专业图表理解的基准

医学、工程、金融、制造和科学领域的专业人士经常根据图表做出重要决策。现有的图表基准不足以衡量这种能力：它们以条形图、折线图和饼图格式为主，依赖较短的推理链，并且已接近饱和，前沿模型已经得分 80-90%。我们引入了 Chartography，这是一个包含 100 项任务的基准，它将从专业实践中提取的图表与标准图表基准很少包含的特定领域格式进行配对，并由以阅读这些图表为生的专业人士编写问题，并由另外三位专家独立验证。在对 30 个前沿模型配置（每个任务 20 个评分试验）的评估中，最佳配置仅达到平均通过@1 的 45.0%；其余的范围为 9.0-39.5%。失败集中在视觉感知上：模型可能会错过细微差别的特征、误读沿稀疏标记轴的值、错误处理投影的 3D 几何图形以及违反图表中编码的域约定。我们发布所有任务、图像、来源元数据和评估代码。