论文

SMART:大规模合成预训练实现关节对象零样本迁移

SMART: Zero-Shot Sim-to-Real Articulated Object Manipulation via Large-Scale Synthetic Pretraining

模型训练合成数据

摘要

与铰接式物体交互的能力对于嵌入式智能系统至关重要,但由于涉及精确的接触和约束跟随运动,收集这些交互的大规模现实世界演示仍然具有挑战性。尽管仿真提供了一种有前途的替代方案,但现有的合成数据工作涵盖了有限的铰接对象类别,而通用合成管道缺乏针对部件级语义和铰接约束的明确设计,阻碍了 Agentic 任务生成和高质量铰接操作演示的可扩展合成。为了弥补这一差距,我们引入了 SMART,这是一个可扩展的系统,利用大规模综合操纵演示来进行 ARTiculated 对象操纵。我们开发的核心是 SMART-Sim,这是一个具有关节感知设计的仿真平台,可实现有效的任务生成和高效的演示收集。在 SMART-Sim 的基础上,我们应用 Agentic 任务生成并设计一个可扩展的分布式综合系统,使用它们来综合 SMART-Data,包括跨 44 个原子任务类型、5 个机器人设置和 2,507 个铰接对象的超过 100 万个演示。在 SMART-Data 上预训练的视觉-语言-动作 (VLA) 模型在仿真基准上显示出具有竞争力的性能,并在现实世界的铰接对象操作任务中实现了零样本模拟到真实的传输和可扩展性能。这凸显了综合演示在提供有效且可扩展的监督以提高 VLA 模型在接触丰富的关节对象操作中的性能方面的潜力。

SMART:大规模合成预训练实现关节对象零样本迁移:论文原图
图 2:SMART-Sim 概述。 SMART-Sim 提供多功能机器人实施例和资产支持、运动生成的灵活注释和技能、高效的演示收集以及全面的域随机化功能。