论文
MATE：用于人形协作数据收集的多代理虚拟远程操作平台
MATE: Multi-Agent Virtual Teleoperation Platform for Humanoid Collaboration Data Collection
摘要
人形机器人需要多样化的具体体验才能获得复杂的局部操作和协作技能。然而，现有的人形数据管道主要关注个体代理，而由于昂贵的硬件、专用空间和重复重置，物理多机器人协作仍然难以扩展。在这项工作中，我们介绍了 MATE，这是一个用于人形协作数据收集的多代理虚拟 TEleoperating 平台，使多个地理分布的操作员能够在共享的基于物理的环境中同时控制全身人形机器人。 MATE 消除了对多个物理机器人和协同定位操作的需求，同时保留了人形机器人、物体和环境之间的物理耦合交互。使用 MATE，我们构建了一个多人形协作数据集，其中包含 2500 个联合事件的 24.1 小时协调行为和五个长期任务，包括对象切换、中继传递、环境交互和协作运输。为了提高从这些富含交互的演示中的学习，我们引入了 EAIS，这是一种执行对齐的交互采样策略，它在执行对齐的前缀内计算采样信号，并优先考虑任务进展和交互关键行为。我们通过跨不同协作任务的代表性模仿学习和视觉-语言-行动策略来评估 MATE。实验证明了高效的数据收集、有效的策略学习以及从虚拟演示到物理人形机器人的零样本迁移，而无需现实世界的微调。项目页面：此 https URL