论文
IndustryBench-MIPU:工业产品多图像属性值提取基准测试
IndustryBench-MIPU: Benchmarking Multi-Image Attribute Value Extraction for Industrial Products
摘要
阀门和断路器等工业产品由严格的技术规范定义,这些规范管理整个供应链的采购、兼容性和安全性。这些规格分散在多个异构产品图像中,包括规格表、铭牌和技术图纸,但 Multimodal 大语言模型 (MLLM) 是否能够可靠地恢复它们仍有待探索。为了填补这一空白,我们推出了 IndustryBench-MIPU,这是第一个用于多图像工业产品理解的大型基准,它围绕结构化属性提取构建——从产品图像中恢复属性-值对。该任务共同探讨规格表和铭牌上的文本识别、技术图纸的视觉推理、解码工业术语的领域知识以及组装分散规格的跨图像证据集成。具体而言,该基准包括 27,652 张图像中的 4,559 个产品,以及涵盖 18 个工业类别的 103,703 个注释,通过多模型共识和三层质量保证构建。在单图像和产品级多图像设置下评估 9 个 MLLM 揭示了明显的完整性差距:模型实现了高精度 (86--94%),但最好的模型仅恢复了 49.9% 的产品级属性;从单图像提取转向多图像提取会导致召回率降低 15--34 个百分点。多图像的完整性,而不是单图像的准确性,是核心瓶颈。数据集和代码是公开的。