TableVista：视觉和结构复杂性下的多模态表推理基准测试

我们推出了 TableVista，这是一个用于评估视觉和结构复杂性下多模态表推理基础模型的综合基准。 TableVista 包含 3,000 个高质量的表格推理问题，其中每个实例通过我们的多风格渲染和转换管道扩展为 10 个不同的视觉变体。该过程包含不同的场景样式、鲁棒性扰动和仅视觉配置，最终产生 30,000 个多模态样本以进行多维评估。我们对 TableVista 上的 29 个最先进的开源和专有基础模型进行了广泛的评估。通过全面的定量和定性分析，我们发现，虽然评估的模型在不同的渲染风格中保持基本稳定，但它们在复杂的结构布局和仅视觉设置上表现出明显的性能下降，这表明当前的模型在结构复杂性与视觉集成演示相结合时难以保持推理一致性。这些发现凸显了当前多模式能力的关键差距，为推进更强大、更可靠的表格理解模型提供了见解。