论文
CircuitReason-1k:电路长程视觉到符号推理能力基准
CircuitReason-1k: Benchmarking Long-Horizon Visual-to-Symbolic Reasoning inElectrical Circuits
摘要
电路分析远不止识别图像中的元器件。求解者必须落地符号和标签、恢复潜在拓扑、选择物理模型、建立耦合方程、传递中间量,并保持单位、符号、方向和相位约定。我们提出CircuitReason-1k,一个包含1,000道真实教科书题目的基准,用于评估这一完整的长程视觉到符号推理过程。每道题将一个或多个电路图与自包含的问题、带类型或语义指定的答案以及参考详解配对。证据优先的构建流程对齐问题、图形与解答,同时面向推理的分类体系按电路类型和依赖深度组织题目。评估结合保守的类型化评分与身份盲化的多模型语义共识,且所有题目都保留在分母中。在三个商业聊天机器人系统和六个开源多模态大语言模型中,最高得分系统的准确率为84.8%。然而,性能在长程问题上持续下降,定性分析揭示了拓扑与目标绑定、物理约定以及后期输出传递方面的持续失败。CircuitReason-1k提供了一个聚焦的测试平台,用于衡量多模态模型能否将技术性视觉证据转化为持续且物理上有效的符号推理。代码发布于GitHub - CircuitReason/CircuitReason1K。
