通过动作相似性监督改进潜在动作模型中的跨实体迁移

随着通用机器人政策从网络规模的预训练中获得愿景和语言，收集演示并将其与记录它们的机器人联系在一起的成本仍然很高。潜在动作模型（LAM）通过从可以跨实施例共享的无动作视频中学习潜在动作来解决这两个问题，然而，在实践中，LAM对背景视觉噪声敏感，并且来自两个不同机器人的相同运动可以用不同的潜在值进行编码。背景视觉噪声的一种解决方案是添加辅助损失，根据潜在动作预测机器人动作，进一步将潜在动作空间与实施例特定机器人动作空间相关联。我们通过动作相似性监督来研究相同标签的不同用法。训练任意两个潜在动作之间的相似性，以匹配两个真实机器人动作序列的相似性。 LAM 永远不会预测真实动作，因此潜在动作不需要对实施例细节进行编码。我们在受控设置中评估 RoboTwin 2.0 上的跨实体迁移，两个双手机器人演示不相交的任务集，在所有演示上训练策略，并且每个机器人仅在另一个机器人演示的任务上进行闭环评估。随着策略架构及其超参数、数据集和评估协议的固定，预测潜在动作而不是真实动作可以使跨实施例的成功率提高一倍以上。给定相同的真实动作，相似性监督比在 LAM 训练期间预测真实动作的辅助损失传递得更好。计算末端执行器运动而不是关节空间运动的相似性，并让损失比较两个机器人的潜在动作，给出了研究的最佳方法。