论文
CharTide:通过三视角调整和查询驱动的演进以数据为中心的图表到代码生成
CharTide: Data-Centric Chart-to-Code Generation via Tri-Perspective Tuning and Inquiry-Driven Evolution
摘要
图表到代码的生成要求视觉语言模型 (VLM) 具有严格的视觉精度和语法正确性。然而,现有方法从根本上受到以数据为中心的限制:尽管可以使用不断增长的图表到代码数据集,但简单地扩展同质图表代码对会将视觉感知与程序逻辑混为一谈,从而阻止模型充分利用多模式监督的丰富性。我们推出了 CharTide,这是一种新颖的以数据为中心的框架,它系统地重新设计了训练和对齐数据,以生成图表到代码。首先,我们通过 Tri-Perspective Tuning 策略构建 2M 样本数据集,将训练显式解耦为视觉感知、纯文本代码逻辑和模态融合流,使 7B 模型能够仅使用监督数据超越专门的基线。其次,我们将对齐重新表述为数据验证问题,而不是启发式评分任务。为此,我们引入了一个基于信息不变性原则的查询驱动的强化学习框架:下游模型应该对原始图表和生成图表中的相同视觉查询产生一致的答案。超越严格的规则匹配或 VLM 评分,我们采用冻结的检查器通过原子 QA 任务客观地验证生成的图表,根据答案准确性提供可验证的奖励信号。在ChartMimic、Plot2Code和ChartX上的实验表明,CharTide-7B/8B显着优于开源基线,超越GPT-4o,与GPT-5具有竞争力。