具有潜在动作的跨实体机器人基础世界模型

机器人实施例和动作空间的多样性使得构建跨不同实施例通用的机器人世界模型变得具有挑战性。我们引入了潜在动作条件机器人世界模型（LAC-WM），该模型在跨不同实施例共享的学习的统一潜在动作空间中运行。当适应以前未见过的机器人实施例时，这种统一的动作空间提高了世界模型的性能。我们将 LAC-WM 与显式动作条件世界模型 (EAC-WM) 进行比较，后者以显式运动标签为条件。我们的结果表明，显式动作调节会导致跨实施例的动作表示不相交，从而限制了适应新机器人时的下游性能。我们评估了灵巧操作任务和修改后的 LIBERO 基准的两个模型。与 EAC-WM 相比，LAC-WM 在灵巧操作方面的下游性能提高了 46.7%，在 LIBERO 方面提高了 11.7%。至关重要的是，统一的潜在动作空间允许 LAC-WM 的下游性能随着预训练期间使用的实施例的数量而积极扩展。相比之下， 随着预训练实施例数量的增加，EAC-WM 中的不相交动作空间会导致性能下降。这些结果凸显了统一动作空间对于高效跨实体学习的重要性，解决了机器人技术的关键挑战。项目网站：https://lacwm.github.io/