论文
用于通用图表到代码生成的对齐多视图脚本
Aligned Multi-View Scripts for Universal Chart-to-Code Generation
摘要
图表到代码生成将图表图像转换为可执行的绘图脚本,从而实现忠实的再现和可编辑的可视化。现有方法主要以 Python 为中心,限制了实际使用并忽略了监督的关键来源:同一个图表可以通过不同绘图语言的语义等效脚本来表达。为了填补这一空白,我们引入了 Chart2NCode,这是一个包含 176K 图表的数据集,与 Python、R 和 LaTeX 中的对齐脚本配对,可呈现视觉上等效的输出,通过元数据到模板管道构建,并进行渲染验证和人工质量检查。基于 LLaVA 风格的架构,我们进一步提出了 CharLuMA,这是一种参数高效的适应模块,它通过语言调节的低秩子空间混合来增强多模态投影仪,允许模型共享核心图表理解,同时通过轻量级路由专门生成目标语言的代码。大量的实验表明,所有语言的可执行性和视觉保真度都得到了一致的提高,超越了强大的开源基线,并与专有系统保持了竞争力。进一步的分析表明,平衡的多语言监督有利于所有语言,并且适配器分配紧凑的共享核心以及特定于语言的容量。代码和数据可在 https://github.com/Zhihan72/CharLuMA 获取。