Articraft：用于可扩展铰接式 3D 资产生成的代理系统

学习理解铰接式 3D 对象的瓶颈是缺乏大型且多样化的数据集。在本文中，我们建议利用 大语言模型 (LLM) 来缩小这一差距并大规模生成铰接资产。我们将生成铰接式 3D 资产的问题简化为编写构建该资产的程序的问题。然后我们引入一个新的代理系统 Articraft，它可以自动编写此类程序。我们设计了一个编程接口和工具来帮助 LLM 有效地做到这一点。 LLM 针对特定领域的 SDK 编写代码，用于定义零件、组合几何图形、指定接头以及编写测试来验证生成的资产。该工具向 LLM 公开有限的工作空间和接口，验证生成的资产，并返回结构化反馈。这样，LLM 就不会因创作 URDF 文件或管理复杂软件环境等细节而分心。我们证明，与最先进的铰接式资产生成器和通用 编码智能体 相比，这可以产生更高质量的资产。使用 Articraft，我们构建了 Articraft-10K，这是一个涵盖 245 个类别的超过 10K 铰接资产的精选数据集，并展示了其在铰接资产训练模型以及机器人模拟和虚拟现实等下游应用中的实用性。