ARSTAG：用于生成特定任务机器人数据的代理 Real2Sim2Real 系统

使视觉运动策略适应新的操作任务通常需要大量的手动工程或远程操作数据收集。模拟可以大规模提供特定于任务的数据，但构建场景、设计专家行为和配置数据生成仍然需要为每个任务付出大量努力。我们推出了 ARSTAG，这是一种代理 Real2Sim2Real 系统，可将单个 RGB 图像和自然语言指令直接转换为机器人策略学习数据。语言代理的层次结构构建任务范围的模拟场景，生成机器人可行的演示，并通过任务一致的随机化扩展训练分布，而协调代理则管理跨阶段反馈和恢复。在涵盖抓取、放置和堆叠的七项操作任务中，ARSTAG 生成的演示能够将三种视觉运动策略架构模拟到真实地转移到双臂机器人，pi0.5 实现了 74.6% 的平均现实成功率。消融表明，任务一致的随机化大大提高了稳健性，并且策略性能随着生成的数据集大小而提高。项目网页：此 https URL。