论文

CADBench:AI 辅助 CAD 程序生成的多模式基准

CADBench: A Multimodal Benchmark for AI-Assisted CAD Program Generation

模型评测基准与评测资源

摘要

从图像或 3D 观察中恢复可编辑的 CAD 程序是人工智能辅助设计的核心,但进展很难衡量,因为现有的评估在数据集、模式和指标上是分散的。我们推出 CADBench,这是多模式 CAD 程序生成的统一基准。 CADBench 包含来自 DeepCAD、Fusion 360、ABC、MCB 和 Objaverse 的六个基准系列的 18,000 个评估样本;五种输入模式,包括干净网格、噪声网格、单视图渲染、真实感渲染和多视图渲染;以及涵盖几何保真度、可执行性和程序紧凑性的六个指标。基于 STEP 的族按 B-rep 面孔计数进行分层,所有族均经过多样性抽样,以支持跨复杂性和对象变化的受控分析。我们对 11 个 CAD 专用和通用视觉语言系统进行了基准测试,生成了超过 140 万个 CAD 程序。在理想化输入下,专门的网格到 CAD 模型的性能大大优于代码生成 VLM,而后者距离可靠的 CAD 程序重建还很远。 CADBench 进一步揭示了三种反复出现的故障模式:重建质量随几何复杂性而降低、CAD 专用模型在模态转换下可能会变得脆弱,以及模型排名随指标变化。总之,这些结果使 CADBench 成为衡量可编辑 3D 重建和多模式 CAD 理解进展的诊断测试平台。该基准可在 https://github.com/anniedoris/CADBench 上公开获取。