通过光谱技能学习表达和组合运动表示

机器人基础模型通常通过分层架构为通用人形机器人控制提供了一条有前途的道路。然而，它们的有效性取决于规划器和控制器之间的命令接口，它必须支持准确的执行，同时保持易于预测，并且理想情况下允许由先前的行为组成新的行为。在这项工作中，我们引入了光谱技能，这是该接口的潜在表示，通过预测表示学习满足这些要求。根据设计，频谱技能对短运动片段进行紧凑编码，并通过预测后续运动而不是重建编码器输入来学习。在 29-DoF 人形机器人上，以光谱技能为条件的控制器相对于现有技术将全局跟踪误差降低了 62%。相同的冻结控制器链独立编码的技能，无需单独的转换策略。它还通过向任何兼容的基本技能添加正交方向来组成新的行为，从而产生训练数据中看不见的组合。我们在 Unitree G1 硬件上演示了跟踪、链接和组合，以及通过语言条件规划器进行的控制。项目页面：https://spectral-skill.github.io