沙丘社区
论文

STEP-LLM：用大语言模型从自然语言生成CAD STEP模型

STEP-LLM: Generating CAD STEP Models from Natural Language with Large Language Models

Xiangyu Shi, Junyang Ding, Xu Zhao, Sinong Zhan, Payal Mohapatra, Daniel Quispe, Kojo Welbeck, Jian Cao, Wei Chen, Ping Guo, Qi Zhu
应用与实践内容创作

摘要

计算机辅助设计（CAD）对现代制造业至关重要，但模型创建仍然劳动密集且高度依赖专业知识。为了让非专家能把直觉的设计意图转化为可制造的产物，近期基于大语言模型的 text-to-CAD 工作聚焦于命令序列或 CadQuery 等基于脚本的格式。然而，这些格式依赖特定内核，缺乏面向制造的通用性。相比之下，产品数据交换标准（STEP，ISO 10303）文件是一种被广泛采用的中性边界表示（B-rep）格式，可直接兼容制造流程，但其图结构、交叉引用的特性给自回归 LLM 带来独特挑战。为此，我们整理了一个约 4 万对 STEP-描述对的数据集，并引入针对 STEP 图结构格式定制的新预处理方法，包括基于深度优先搜索的重序列化（在保留局部性的同时线性化交叉引用）以及引导全局一致性的思维链（CoT）式结构标注。我们集成检索增强生成，把预测锚定在相关示例上用于监督微调，并通过带基于 Chamfer Distance 的几何奖励的强化学习提升生成质量。实验表明，STEP-LLM 在几何保真度上相对 Text2CAD 基线取得一致提升，改进来自框架的多个阶段：RAG 模块显著增强完整性与可渲染性，基于 DFS 的重序列化强化整体准确率，RL 进一步降低几何偏差。指标与视觉对比均证实 STEP-LLM 生成形状的保真度高于 Text2CAD。这些结果表明由 LLM 从自然语言生成 STEP 模型是可行的，展示出让 CAD 设计面向制造平民化的潜力。

STEP-LLM：用大语言模型从自然语言生成CAD STEP模型
图2：STEP-LLM 框架。上方面板展示数据预处理过程：原始 STEP 文件被渲染为九个视图并用 GPT-4o 生成描述（左），其内部 DAG 结构（数字表示 STEP 文件中实体的标识符）被重新序列化为保持局部性的树（右）。这些描述与 DFS 风格的 STEP 文件共同构成用于 SFT 的 STEP-描述配对数据集（左下）。为后续 RL 训练设计了基于缩放 Chamfer Distance 的特定几何奖励（右下）。