论文

BenchCAD:面向程序化CAD的全面行业标准基准

BenchCAD: A Comprehensive, Industry-Standard Benchmark for Programmatic CAD

模型评测基准与评测资源

摘要

工业计算机辅助设计(CAD)代码生成要求模型从视觉或文本输入产出可执行的参数化程序。这一任务不止于识别零件的外部形状,还包括理解其3D结构、推断工程参数,以及选择能反映零件设计与制造方式的CAD操作。尽管多模态大语言模型(MLLM)在这项任务上前景可期,但人们很少评估这些能力在真实工业CAD场景中能否同时成立。我们提出BenchCAD,一个面向工业CAD推理的统一基准。BenchCAD包含17,900个经执行验证的CadQuery程序,覆盖106个工业零件族,包括斜齿轮、压缩弹簧、麻花钻等可复用工程设计。它通过视觉问答、代码问答、图像到代码生成与指令引导的代码编辑来评估模型,支持跨感知、参数抽象与可执行程序合成的细粒度分析。在10余个前沿模型上,BenchCAD显示当前系统往往能恢复粗略的外部几何,却无法产出忠实的参数化CAD程序。常见失败包括缺失精细3D结构、误读工业设计参数,以及用更简单的草图-拉伸模式替代扫掠、放样、扭转拉伸等关键操作。微调与强化学习能提升分布内性能,但对未见零件族的泛化仍然有限。这些结果使BenchCAD成为衡量并改进多模态CAD自动化工业就绪度的基准。

BenchCAD:面向程序化CAD的全面行业标准基准:论文配图
图 1:BenchCAD 概述。 BenchCAD 是一个用于工业 CAD 推理的统一的、功能分解的评估框架,由 17,900 个经过专家验证的参数化 CadQuery 零件(左)组成,这些零件取自 106 个工业系列,涵盖紧固件、传动部件、结构元件、流体配件、面板、硬件和外壳。 7 类功能分类法(右)涵盖了 49% 的符合 ISO/DIN/EN/ASME/IEC 标准的系列,每个部分都实现为可测试几何形状、参数和编辑的可执行参数化程序。