论文

CFMS:用于增强表格推理的由粗到细多模态综合框架

CFMS: A Coarse-to-Fine Multimodal Synthesis Framework for Enhanced Tabular Reasoning

模型推理推理策略与问题分解

摘要

对表格数据的推理是问答与事实核查等任务的关键能力,因为它要求模型同时理解自由形式的问题与半结构化表格。然而,尽管思维链(CoT)等方法引入了推理链,纯符号方法在本质上受限于其对整体视觉模式的盲视。为解决这一问题,我们提出由粗到细多模态综合框架(CFMS),一种将高层视觉感知与细粒度符号推理分层解耦的新型两阶段范式。在粗阶段,CFMS利用多模态大语言模型(MLLM)一次性综合出多视角知识元组。该元组随后充当动态推理地图,引导细阶段由符号引擎对表格执行有针对性且高效的迭代操作序列。在WikiTQ与TabFact基准上的大量实验表明,CFMS取得了有竞争力的准确率。该框架在处理大表格以及用较小骨干模型实例化时表现出特别的鲁棒性,验证了其有效性与泛化能力。

CFMS:用于增强表格推理的由粗到细多模态综合框架:论文配图
图 1:CFMS 在整体推理方面的优势说明。 (a) 纯符号方法必须诉诸低效、强力计算来识别波动性。 (b) 我们的 CFMS 框架使用粗略阶段合成知识元组 Kc​o​a​r​s​eK_{coarse},包括生成图表的视觉感知 Rv​i​s​u​a​lR_{visual},它可以立即识别整体模式并指导精细阶段得出正确且有效的答案。