OmniSch：结构化图视觉推理的多模式 PCB 原理图基准

最近的大型多模态模型（LMM）在视觉基础、文档理解和图表推理任务方面取得了快速进展。然而，尽管此类图形表示是实际电子设计自动化 (EDA) 工作流程的支柱，但它们将印刷电路板 (PCB) 原理图转换为机器可读的空间加权网表图、联合捕获组件属性、连接性和几何形状的能力仍然尚未得到充分开发。为了弥补这一差距，我们引入了 OmniSch，这是第一个综合基准测试，旨在评估 LMM 的原理图理解和空间网表图构建。 OmniSch 包含 1,854 个真实世界原理图，并包括四个任务：（1）原理图实体的视觉基础，其中 109.9K 基础实例将 423.4K 图表语义标签与其视觉区域对齐； （2）图对图推理，理解图元素之间的拓扑关系； (3) 几何推理，为每个连接构建依赖于布局的权重； (4) 用于视觉搜索的工具增强代理推理，调用外部工具来完成 (1)-(3)。我们的结果揭示了当前 LMM 在解释原理图工程工件方面的巨大差距，包括不可靠的细粒度基础、脆弱的布局到图形解析、不一致的全局连接推理和低效的视觉探索。