论文

OMG:用于通用人形控制的全模态运动生成

OMG: Omni-Modal Motion Generation for Generalist Humanoid Control

模型训练预训练

摘要

近年来,人形全身控制取得了重大进展,但现有方法仍然仅限于具有大量奖励工程的少量技能策略,或难以扩展到新输入模式的运动跟踪器。我们认为,通用人形控制的关键是构建一个可扩展的大脑,一个能够以多种条件模式进行推理的模块,位于反应性运动跟踪小脑之上,反映生物运动系统的层次结构。实现这一愿景面临两个挑战:获取大量高质量数据以实现通用控制,并为生成器配备以组合的、可扩展的多模式输入为条件的能力。我们推出了 OMG,它通过细致的数据管理、过滤和标记管道以及以语言、音频和人类参考运动为条件的基于扩散的运动生成主干来解决这些挑战。大量实验验证 OMG 作为全模态全身控制器,展现出最先进的性能、模型缩放行为以及对新分布和模态的高效适应,标志着向人形机器人基础模型迈出了具体的一步。