论文
Circuit-MLLM:用于电路原理图理解的拓扑逻辑引导潜在空间视觉推理
Circuit-MLLM: Topological Logic-Guided Latent-Space Visual Reasoning for Circuit Schematic Understanding
摘要
通过对大量文本和图像数据集进行预训练,当前的多模态大语言模型(MLLM)在一般任务上实现了强大的性能。然而,由于其密集的组件布局和独特的拓扑逻辑,电路原理图对 MLLM 提出了独特的挑战,需要细粒度的结构解析来提取电气语义。为了解决这个问题,我们提出了 Circuit-MLLM,这是一种多模态推理框架,它将电路拓扑分析重新表述为潜在空间内的设备定位、路径跟踪和顺序推理的过程。我们引入了一种电路知识挖掘机制,该机制将模型的潜在表示与来自多粒度电路视觉专家的结构丰富的特征深度结合,使模型能够有效地内化拓扑语义。基于这些内化语义,我们设计了一种拓扑引导的排序策略,将推理与严格的光栅扫描顺序解耦,在潜在空间中沿着电路的拓扑逻辑强制执行逐步推理。在各种电路分析任务中,Circuit-MLLM 始终优于强大的基线,特别是平均得分比 GPT-5.1 高 25%,这证明了我们的框架在电路原理图拓扑分析中的有效性。代码可在 https://github.com/IC-Yuan/Circuit-MLLM 上公开获取。