异构机器人学习的统一运动动作建模

我们提出了统一运动动作 (UMA) 模型，这是一种使用 3D 对象运动轨迹作为共享接口来桥接视觉运动控制和动力学建模的方法。 UMA 将对象运动和机器人动作视为屏蔽生成目标下的共同进化变量，其中屏蔽模式决定了预训练期间的监督机制和部署时的推理模式。 UMA 使用事后重新标记的运动上下文和将任务意图与场景几何结构分离的对比目标，可以跨异构数据源进行多任务预训练，而无需手动注释任务指令。在部署时，相同的预训练参数支持运动条件视觉运动控制、基于运动的动力学建模以及几次演示的任务适应。 UMA 经过机器人演示、人类视频和模拟数据的混合预训练，其性能始终优于专门针对每种推理模式的最先进基线。