沙丘社区
论文

评估Y轴影响：多模态语言模型在图表到表格翻译中的偏差

Assessing Y-Axis Influence: Bias in Multimodal Language Models on Chart-to-Table Translation

Seok Hwan Song, Azher Ahmed Efat, Wallapak Tavanapong
模型评测鲁棒性、公平性与可信度评测

摘要

图表到表格翻译将图表图像转换为结构化表格数据。准确的翻译对多模态语言模型（MLM）回答复杂查询至关重要。我们观察到，公开图表数据集中不同Y轴信息维度上的图像数量存在不均衡。这种不均衡会引入非预期的偏差，导致MLM表现参差不齐。以往工作尚未系统考察过这些偏差。为填补这一空白，我们提出新框架FairChart2Table，在五个最先进模型上分析与Y轴相关的偏差。关键发现：(1) 存在与主刻度值的位数、主刻度数量、数值范围以及刻度值格式（如缩写或科学计数格式）相关的显著Y轴偏差。(2) 图表图像中图例/实体的数量会影响MLM表现。(3) 在提示中提供Y轴信息可以显著提升部分MLM的表现。

评估Y轴影响：多模态语言模型在图表到表格翻译中的偏差：论文配图
图 1：FairChart2Table 框架。步骤 1 为数字长度为 1 的每个实体计数 (1-6) 生成 10 个基表。步骤 2 通过使用 10 的幂将值缩放到目标数字长度 (0-16) 来导出 1,020 个表。步骤 3 根据生成的表格创建代表三种图表类型的 3,060 个图表图像。步骤 4 仅选择 A 部分中包含三个实体的表格，并通过改变主要刻度数、范围和格式来生成附加图像。最后，使用我们基于 TBE 的指标评估 MLM 的图表到表格转换。