CharTool：面向图表理解的工具集成视觉推理

图表在科学与金融文献中无处不在，用于呈现结构化数据。然而，由于缺乏高质量训练数据，以及对细粒度视觉定位与精确数值计算的需求，图表推理对多模态大语言模型（MLLM）而言仍然充满挑战。为应对这些挑战，我们首先提出DuoChart，一个可扩展的双源数据流水线，将合成图表与真实图表相结合，以构建多样化、高质量的图表训练数据。随后我们提出CharTool，为MLLM配备外部工具，包括用于局部视觉感知的图像裁剪和用于精确数值推理的基于代码的计算。通过在DuoChart上的智能体强化学习，CharTool学会了以图表内容为根基的工具集成推理。在六个图表基准上的大量实验表明，我们的方法在各模型规模上均稳定优于强MLLM基线。值得注意的是，CharTool-7B在CharXiv（Reasoning）上比基座模型高出8.0%，在ChartQAPro上高出9.78%，同时与规模大得多或闭源的模型相比也具有竞争力。此外，CharTool对域外视觉数学推理基准表现出正向泛化。