用表格思考：通过神经符号推理增强多模式表格理解

多模态 大语言模型 (MLLM) 在图像和文本等模态中表现出了卓越的推理能力。然而，表格数据尽管是现实世界的一种重要模式，但在多模式学习中仍然相对未得到充分探索。在本文中，我们重点关注表格视觉多模态理解（TVMU）的任务，并确定了三个核心挑战：（1）表格中的高结构可变性和数据不完整性，（2）隐式且复杂的特征依赖性，以及（3）下游任务的问题解决管道中的显着异质性。为了解决这些问题，我们提出用表格思考（TWT）。 TWT 采用基于程序辅助代码的神经符号推理机制，通过与外部环境交互来促进信息提取和元素建模等关键操作。我们在八个代表性数据集上评估 TWT。实验结果表明，TWT 在准确度上始终优于现有基线，平均提高 10%，在 TVMU 任务上实现的性能可与甚至超越专有商业 SOTA LLM。模型和代码可在 https://github.com/kunyang-YU/Thinking-with-Tables 获取