论文
ChartRevise:通过代码进行精确图表编辑的数据集和评估协议
ChartRevise: A Dataset and Evaluation Protocol for Exact Chart Editing via Code
摘要
图表编辑需要跨模式编辑grounding,在绘制它的代码中实现所请求的视觉变化,并进行必要的相关更新,并且不改变不相关的内容。现有的基准测试要么强调代码可执行性,要么强调图表质量,但它们的指标并没有明确区分请求完成与错过的耦合更新和无偿更改。我们推出 ChartRevise,这是一种结构化数据集和评估协议,用于精确的基于程序的图表编辑。对于数据集构建,我们以图形语法为基础,系统地涵盖图表编辑操作,使用源程序检查来验证它们在图表类型和库中的适用性。为了提高编辑的准确性,我们的管道会检查个别要求,并在不满足要求时指导修复或排除。生成的数据集包含 92,438 条记录,涵盖 20 种图表类型和三个绘图库中的 344 种编辑类型。为了进行评估,我们的无参考协议单独测量原子需求的完成情况,识别无偿的更改,并检测错过的耦合更新。这些检查与成功执行和渲染相结合,以确定精确编辑是否成功。在五个模型和四个外部基准中,微调使平均要求召回率相对提高 16%,平均精确编辑率相对提高 22%。