论文
USDCraft:用于模拟的铰接式 3D 资产的几何基础编程建模
USDCraft: Geometrically Grounded Programmatic Modeling of Articulated 3D Assets for Simulation
摘要
几何忠实且功能齐全的铰接 3D 资产对于真实到模拟的机器人操作至关重要,在模拟中训练的策略必须转移到物理对象。最近基于网格的方法学习从带注释的 3D 资产推断清晰度,但当现实世界的对象落在训练分布之外或其网格不完整或损坏时,部署仍然具有挑战性。为了解决这些限制,我们将铰接式资产重建制定为基于部分几何证据的程序化建模,并引入了 USDCraft,这是一个框架,在该框架中,经过预训练的LLM可以为模拟就绪的铰接式资产编写和修改可执行程序,而无需进行特定于任务的培训。我们提出源几何分析,将源网格转换为度量文本描述,以区分观察到的表面和未知空间,以及迭代几何重新检查,以相同的表示形式重新编码每个候选对象,以便差异指向程序编辑,而未观察到的区域仍保持开放状态以完成。视觉反馈和物理反馈 创作指导完成了建模过程,生成具有明确物理属性的铰接美元资产,无需手动调整即可加载到 Isaac Sim 中。实验证明了在两个基准上领先的关节恢复能力,并验证了 USDCraft 在真实到模拟到真实机器人操作方面的有效性。