Nexus-VLA以共享层级语义潜空间联合学习人类与机器人操作

大规模第一人称人类视频为机器人策略学习提供了丰富且可扩展的操作经验，但视觉外观、运动结构和动作空间方面的巨大具身形态差异阻碍了有效的知识转移。现有方法通常将跨具身形态知识对齐与机器人策略学习解耦，使得人类操作知识难以直接且充分地贡献于机器人动作学习。为了解决这个问题，我们提出了 Nexus-VLA，这是一种混合策略学习框架，可以通过端到端的人机联合训练实现跨具身形态知识转移，从而使人类操作经验直接有助于机器人策略学习。我们首先引入了一种分层的跨具身形态语义对齐范例，该范例逐步建立从任务意图到细粒度交互的共享操作语义，从而能够更完整地使用人类视频中包含的操作知识。在此层次结构的基础上，我们设计了一种共享操作潜在表示，将多级共享知识联合编码为直接用于连续动作生成的内部表示，提高策略学习效率，同时有效利用人类知识。在 RoboCasa-GR1、OOD 设置和真实机器人实验中，Nexus-VLA 在 RoboCasa-GR1 上实现了 80.5% 的任务成功率，并在人类数据利用率、学习效率和跨场景泛化方面表现出强大的优势。