InterMimicGen：通过自我进化运动模仿扩展人形机器人操控

捕获的人与物体的交互为人形机器人操作提供了丰富的监督，但它们是稀疏的、异构的，并且不能由机器人直接执行。我们介绍了 InterMimicGen，这是一个自我进化的运动模仿框架，其中机器人运动数据和跟踪策略相互改进。首先，我们整合运动捕捉的人与物体交互数据集，并将它们重新定位为人形机器人参考，同时保留全身协调性和灵巧的手与物体关系。这产生了一个庞大且多样化的人形机器人参考集合，用于灵巧的全身局部操作。其次，我们训练一个基于物理的多面手跟踪器，该跟踪器在具有灵巧双手的人形机器人上模拟执行这些参考，其范围和多样性超出了先前用于局部操纵的人形跟踪系统。第三，我们关闭数据飞轮：每一轮都会对交互发生的位置以及身体如何执行交互进行小的、保留任务的更改，微调它们上的跟踪器，并仅保留其模拟执行完成任务的变体，这些变体为下一轮提供种子。通过更多的迭代，这些小的编辑可以在稀疏的原始演示周围复合成更广泛的覆盖范围，同时保留任务语义和运动质量。实验表明，跨机器人配置的接触保持重定向、单个多面手策略的广泛跟踪、在增强轮次中不断增长的可执行动作，以及转移到真实的机器人。 InterMimicGen 提供了一条从异构人类演示到不断扩展的人形机器人学习运动资源的统一路径。