论文
OmniMech:用于 3D 重建的一体化多模态机械基准
OmniMech: All-in-one Multimodal Mechanical Benchmark for 3D Reconstruction
摘要
最近的视觉语言模型(VLM)可以从图像生成可执行的 CAD 程序,但现有方法主要针对粗糙的通用 3D 对象,很少解决工业机械设计中所需的细粒度几何和毫米级公差。我们推出了 OmniMech,这是第一个用于评估 VLM 从工业制造数据生成可执行 CAD 的百万级基准。 OmniMech 包含超过 251,000 个完整尺寸和公差的 2D 正交绘图,与本地 CAD 模型、多视图渲染、网格、STEP 和 B-rep 表示以及丰富的语义注释配对。该基准包括四项任务:(1)从工程图纸合成参数化CAD程序; (2) 图形到 3D 推理,实现几何和结构一致的重建; (3) 对尺寸、符号、特征标注和制造约束进行基于注释的推理; (4) 使用可视化、测量、CAD 执行和验证工具进行工具增强代理推理。实验表明,当前的 VLM 和 CAD 专用模型仍然难以实现可执行程序合成、细粒度 3D 重建以及尺寸和公差的可靠执行。我们将发布基准数据、评估代码和工具接口以支持未来的研究。