论文

CoReTab:用代码驱动推理改进多模态表格理解

CoReTab: Improving Multimodal Table Understanding with Code-driven Reasoning

模型训练合成数据

摘要

现有多模态表格理解数据集(如MMTab)主要提供简短的事实性答案,缺乏显式的多步推理监督。在这些数据集上训练的模型常生成简短回答,准确性不足,且对模型如何得出最终答案缺乏可解释性。我们提出CoReTab,一个代码驱动的推理框架,通过将多步推理与可执行Python代码耦合,产出可扩展、可解释且可自动验证的标注。使用CoReTab框架,我们整理了115K个经验证样本的数据集,平均每条回答529个token,并通过三阶段流水线微调开源多模态大模型。我们在涵盖表格问答、事实验证和表格结构理解的17个MMTab基准上评估基于CoReTab训练的模型。我们的模型分别取得+6.2%、+5.7%和+25.6%的显著增益,同时产出透明且可验证的推理轨迹。这些结果确立CoReTab作为提升多模态表格理解多步推理的稳健且可泛化的监督框架。

CoReTab:用代码驱动推理改进多模态表格理解
图2:CoReTab 框架概览。它使用 LLM 以多步推理和 Python 代码生成响应作为新的标注,这些响应可被执行并对照 ground truth 验证,仅需极少的人工审核。CoReTab 标注为训练 MLLM 提供丰富且可解释的监督信号。