InstructTable：通过指令提高表结构识别

表格结构识别（TSR）通过将表格图像解析为结构化表示而具有广泛的实际重要性，但在处理涉及合并或空单元格的复杂布局时遇到重大挑战。传统的以视觉为中心的模型完全依赖于视觉信息，而缺乏关键的语义支持，从而阻碍了复杂场景中准确的结构识别。视觉语言模型利用上下文语义来增强理解；然而，这些方法低估了视觉结构信息的建模。为了解决这些限制，本文引入了 InstructTable，一种指令引导的多阶段训练 TSR 框架。精心设计的表格指令 预训练 将注意力引向细粒度的结构模式，增强对复杂表格的理解。互补的 TSR 微调 保留了强大的视觉信息模型，在不同场景下保持高精度的表解析。此外，我们还引入了 Table Mix Expand (TME)，这是一种用于合成大规模真实表格数据的创新无模板方法。利用 TME，我们构建了平衡复杂密集合成表 (BCDSTab) 基准，其中包含通过我们的方法合成的 900 个复杂表格图像，作为严格的基准。对多个公共数据集（FinTabNet、PubTabNet、MUSTARD）和 BCDSTab 的大量实验表明，InstructTable 在 TSR 任务中实现了最先进的性能。消融研究进一步证实了所提出的表格数据特定指令和合成数据的积极影响。