SimFoundry：用于策略学习和评估的模块化和自动化场景生成

在现实世界中训练和评估机器人策略成本高昂且难以扩展。我们推出 SimFoundry，这是一种模块化自动化系统，用于从视频中零镜头实景到模拟场景构建。 SimFoundry 生成模拟就绪的数字孪生，并支持对象、场景和任务编辑，从而能够自动生成不同的数字孪生：重建现实世界场景的可供性保留变化。在 SimFoundry 数据上训练的策略可以零样本传输到具有挑战性的实际任务，包括多步骤操作、铰接对象交互和双手交互，其数字表兄弟（原始场景、对象和任务的变体）有助于泛化到新的现实世界条件。在 7 个操作任务和 5 个策略架构中，SimFoundry 模拟评估强烈预测了现实世界的性能，平均皮尔逊相关性为 0.911，平均最大排名违规为 0.018。在现实世界中评估模拟训练的零样本策略时，使用模拟中的对象、场景和任务表兄弟进行训练的策略显示平均任务成功率分别提高了 17%、21% 和 40%。更多详细信息请访问 https://research.nvidia.com/labs/gear/simfoundry/ 。