论文
JoyAI-Sim:用于体现数据金字塔的模拟互转换工具链
JoyAI-Sim: A Simulation-Enabled Interconversion Toolchain for the Embodied Data Pyramid
摘要
通用机器人政策需要可靠的评估和机器人可用的训练数据,但这两者都很难仅通过物理机器人来扩展。真实的机器人试验和演示仍然是最可靠的部署信号来源,但它们速度慢、成本高且难以重现。我们提出了 JoyAI-Sim,一个用于人机对齐模型评估和数据生成的仿真相互转换工具链,表示为 Robot $\rightleftharpoons$ Simulation $\rightleftharpoons$ Human。一方面,机器人 $\rightarrow$ 模拟 $\rightarrow$ 人类路径通过将真实的机器人桌面组织任务重建为用于可扩展评估的校准数字孪生来支持人机对齐模型评估,同时使用人类体现的反馈来检查和完善模拟运动的自然度。另一方面,人类$\rightarrow$Simulation$\rightarrow$Robot路径支持人机对齐的数据生成:它将以自我为中心的人类演示提升到模拟中,在机器人物理约束下检查它们,并将它们转换为以机器人为中心的轨迹、注释和视觉观察。这些路径共同使用 JoySim 模拟器作为可扩展的评估层和机器人数据生成的物理一致性过滤器。我们进一步将核心重建、模拟、渲染和真实感增强模块打包为京东云上的云服务,将系统变成可重用且可扩展的机器人数据生成和模型评估基础设施。