论文
DiagramNet:面向非标准系统级图表的端到端识别框架与数据集
DiagramNet: An End-to-End Recognition Framework and Dataset for Non-Standard System-Level Diagrams
摘要
系统级图表编码了芯片设计的架构蓝图,规定模块功能、数据流和接口协议。然而,符号未标准化和结构化训练数据的稀缺,阻碍了现有多模态大语言模型(MLLM)识别这些图表。为填补这一空白,我们推出DiagramNet,首个面向系统级图表的多模态数据集,包含10,977条连接标注和15,515个思维链问答对,覆盖Listing、Localization、Connection和Circuit QA四类任务。基于该数据集,我们提出渐进式训练流水线以及解耦的多智能体工作流,将复杂视觉推理分解为感知(Perception)、推理(Reasoning)和知识(Knowledge)三个阶段。在DiagramNet基准上,将我们的3B参数模型与所提工作流相结合,超越了2025 EDA Elite Challenge冠军方案,并在端到端评估中领先GPT-5、Claude-Sonnet-4和Gemini-2.5-Pro超过2倍。值得注意的是,该工作流可泛化到我们的模型之外,将Gemini-2.5-Pro的Task 1性能提升128.7倍,GPT-5提升12.4倍。此外,仅用60张图像进行检测器适配,该方法即可有效迁移到AMSBench,在零样本连接性推理上达到与GPT-5和Claude-Sonnet-4相当的水平,并超过AMS最先进方法Netlistify。
