论文

IterCAD:面向视觉定位CAD生成与编辑的迭代多模态智能体

IterCAD: An Iterative Multimodal Agent for Visually-Grounded CAD Generation and Editing

智能体系统模型训练AI 基础设施强化学习Agent 架构与控制循环Agent HarnessSandboxAgentic RLAgent Sandbox

摘要

计算机辅助设计在现代制造中至关重要,但现有的自动化方法主要依赖于开环、一次性生成,与现实世界的迭代实践不匹配。在本文中,我们提出了 IterCAD,这是一个用于闭环、交互式 CAD 生成和编辑的统一多模态代理框架。我们将该任务制定为多模态代理和可执行 CAD 沙箱之间的多轮交互,涵盖三个任务:绘图到代码、文本到代码和交互式编辑。为了支持这一点,我们开发了一个包含先进工业制造功能的数据合成管道,以生成符合标准的多视图工程图、复杂的代码编辑任务和高保真交互轨迹。我们通过渐进式 SFT 优化代理,然后进行具有可行前缀掩码的几何感知强化学习,以增强代码的可执行性和几何保真度。最后,我们介绍了 IterCAD-Bench 评估套件,并提出了倒角距离容差召回 (CD-TR) 曲线及其 AUC-TR 指标,建立了统一代码有效性和几何精度的无幸存者偏差标准。大量实验表明,IterCAD 在多个基准测试中实现了极具竞争力的性能,在代码可执行性和几何精度方面显着优于现有方法,同时在闭环迭代细化方面展现出卓越的能力。

IterCAD:面向视觉接地CAD生成与编辑的迭代多模态智能体:论文配图
图 1:IterCAD 模仿人类的“生成 - 验证 - 优化”工作流程。在多视图工程图的引导下,代理通过调试执行故障和纠正几何缺陷来迭代优化 CadQuery 代码,实现与目标设计的无缝对齐。