FormStruct-Bench：表格文档结构识别的分层诊断基准

将表格文档转换为机器可处理的记录不仅需要恢复其可见内容，还需要恢复组织它的多级结构。然而，现有的基准评估要么评估整体文档输出，要么评估传统的表格网格，它们的总分几乎无法洞察结构性故障发生的位置。我们推出了 FormStruct-Bench，这是一种分层诊断基准，可在文档级别和逐步更精细的组件级别评估表格文档结构识别，从而允许将总体性能追溯到特定的结构故障模式。为了大规模构建可审计的 真值，我们注释了 70 个可重用模板，并通过保留来源的导演-艺术家-验证者管道将它们扩展为 7,000 个经过验证的实例；模板不相交测试集中的所有 1,100 个实例还接受人工审查。我们的评估协议使用五个主要指标和三个跨页面、模式和组件级别的特定于结构的诊断，以及难度、结构约束和视觉退化的切片。在 14 个 API 托管和本地可部署系统以及两个 SFT 变体中，最佳文档级得分达到 83.85%，而报告的最佳细粒度结构得分仍低于 18%。这些结果揭示了阅读文档内容与恢复可靠的表格形式理解所需的层次结构和区域组织之间的显着差距。