Skel-WAM：用于人机操作转移的手部骨骼条件世界动作模型

机器人演示的收集成本很高，而且通常提供的任务变化的分布范围有限。人类视频提供了补充操作体验的低成本来源，但从中学习需要弥合视觉外观和动作空间中的体现差距。我们引入了 Skel-WAM，这是一种世界动作模型，它通过统一的手部骨骼运动接口来弥合这些差异。关键的见解是通过通用的手部拓扑来对齐人类和机器人的运动，将场景中地面运动的骨架覆盖与编码显式手部运动学的结构化 2.5 维关键点相结合。视频和关键点专家通过混合变形金刚共同学习视觉和骨骼动力学，而单独的机器人训练动作专家将这些预测映射到可执行控制。这种分离使得人类和机器人演示能够直接监督共享动态，而不需要人类视频的机器人动作标签。在四项现实世界的双手任务和七项模拟任务中，Skel-WAM 的平均成功率分别为 79.86% 和 63.29%，分别超出最强基线 22.22 和 8.28 个百分点。在机器人训练数据缺失的任务变化方面，人机协同训练的实际成功率提高了一倍多，从 38.89% 提高到 86.11%。这些结果表明，共享的骨骼接口可以实现人类和机器人数据的联合学习，并通过补充人类演示来扩展机器人任务的覆盖范围。