ChartAct：动态图表理解的基准

图表广泛用于呈现复杂数据以进行分析和决策。现有的图表理解基准主要关注静态图表，但现实世界的图表通常是动态和交互式的。关键信息可能仅在悬停、单击、缩放或拖动等操作后出现。因此，动态图表理解需要模型来识别可见内容，选择适当的交互，并对不断变化的图表状态进行推理。为了评估这种能力，我们提出了 ChartAct，一个用于动态图表理解的交互式基准。 ChartAct收集并过滤了8个真实图表网站的673张动态图表，涵盖7种常见图表类型，构建了1,440个高质量问答样本。每个示例都在动态图表和仪表板图表两种环境中实例化，以评估不同上下文下的动态图表理解。基于ChartAct，我们系统地评估了11种先进的多模态模型和GUI智能体。实验结果表明，现有模型在动态图表理解方面仍然存在明显的局限性。最强的模型 Claude-Opus-4.7 的平均成功率达到 84.5%，而大多数模型仍低于 60%。我们还进行详细的故障归因和案例分析。 ChartAct 为研究真实交互环境中的图表理解提供了新的基准。代码位于 https://github.com/wulin-wulin/OSWorld_Chart