论文
CFMS:用于增强表格推理的由粗到细多模态综合框架
CFMS: A Coarse-to-Fine Multimodal Synthesis Framework for Enhanced Tabular Reasoning
摘要
对表格数据的推理是问答与事实核查等任务的关键能力,因为它要求模型同时理解自由形式的问题与半结构化表格。然而,尽管思维链(CoT)等方法引入了推理链,纯符号方法在本质上受限于其对整体视觉模式的盲视。为解决这一问题,我们提出由粗到细多模态综合框架(CFMS),一种将高层视觉感知与细粒度符号推理分层解耦的新型两阶段范式。在粗阶段,CFMS利用多模态大语言模型(MLLM)一次性综合出多视角知识元组。该元组随后充当动态推理地图,引导细阶段由符号引擎对表格执行有针对性且高效的迭代操作序列。在WikiTQ与TabFact基准上的大量实验表明,CFMS取得了有竞争力的准确率。该框架在处理大表格以及用较小骨干模型实例化时表现出特别的鲁棒性,验证了其有效性与泛化能力。
