PlotChain：多模态 LLM 工程图表读取的确定性检查点化评估

我们提出 PlotChain，一个确定性的、基于生成器的基准，用于评估多模态大语言模型（MLLM）的工程图表读取能力——从经典图表（如 Bode/FFT、阶跃响应、应力—应变、泵特性曲线）中恢复定量数值，而非仅 OCR 提取或自由式描述。PlotChain 包含15个图表族、450张渲染图（每族30张），每一项都由已知参数生成，并配有直接从生成过程计算的精确真值。一个核心贡献是基于检查点的诊断评估：除最终目标外，每项还包含中间的“cp_”字段，用以隔离子技能（如读取截止频率或峰值幅度）并支持图表族内的失败定位。我们在标准化、确定性协议（temperature = 0 与严格的纯 JSON 数值输出模式）下评估四个最先进 MLLM，并用旨在反映人类图表读取精度的逐字段容差对预测评分。在“plotread”容差策略下，最强模型取得80.42%（Gemini 2.5 Pro）、79.84%（GPT-4.1）与78.21%（Claude Sonnet 4.5）的总体字段级通过率，而 GPT-4o 落后于61.59%。尽管在许多图表族上表现出色，频域任务仍然脆弱：带通响应保持低位（≤ 23%），FFT 频谱仍具挑战性。我们发布生成器、数据集、原始模型输出、评分代码与带校验和的清单，以支持完全可复现的运行以及在替代容差策略下的回溯重评分。