论文

ChartSync:视觉逻辑级联图表编辑的基准

ChartSync: A Benchmark for Visuo-Logical Cascading Chart Editing

模型评测基准与评测资源

摘要

当数据修改需要几何同步时,生成图像编辑模型很难处理结构化统计图表。我们将此任务形式化为视觉逻辑级联编辑(VLCE)。然而,现有的方法仍然局限于本地化文本替换,并且难以处理依赖感知的级联更新。为了系统地评估此功能,我们引入了 ChartSync,这是一个经过专家验证的基准测试,通过编程渲染管道构建,可保证 真值 的确定性视觉逻辑耦合。 ChartSync 包含 9 个图表类别和 4 种任务类型的 870 个三元组,其中包括 235 个几何耦合 VLCE 实例,专门测试级联文本到几何同步。我们通过结合客观视觉指标与视觉语言模型判断范式的两层框架进一步评估这些实例,以评估低水平的保真度以及多模态理解和推理。对 14 个图像编辑模型和一个代码中介管道的评估揭示了细微的能力差距:大多数开源模型在几何同步方面严重下降,而只有两个前沿专有模型显示出新兴的 VLCE 能力,其残余错误主要涉及语义隔离和背景损坏。我们详细的错误分析解构了这些故障范例,以确定指导未来多模式架构的核心元能力。 ChartSync 数据集和代码在 https://github.com/kaka-yjk/ChartSyncCodebase 上公开发布。