Movens-Zero将执行验证的人类视频数据扩展到多模态人形动作模型

扩展人形运动基础模型受到多样化的机器人可执行数据的稀缺性以及在支持实时闭环控制的同时从异构多模态输入中联合学习的难度的限制。我们展示了 Movens-5M，它由原始互联网视频通过剪辑生成、质量过滤、语义注释、运动恢复和物理细化以及人形机器人运动重定向和执行验证构建而成。它包含 1500 万个人体动作序列和 500 万个物理上可执行的人形动作序列，跨越 10,000 多个小时，与文本、RGB 视频、语音和音乐对齐。基于这些数据，我们引入了 Movens-Zero，这是一种可扩展的理解-生成-执行架构，支持跨模态联合学习和实时闭环执行。任务混合流匹配训练联合优化了跨七项生成任务的单个动作专家，从而能够从文本、语音、音乐和视频直接生成动作。多模态实时分块在不断更新的指令和机器人状态下连接重叠的块，以实现连续闭环执行。我们进一步介绍了 Movens-Intent，这是一个四轨基准测试，包含 8,192 个经过专家验证的条件-运动对，涉及文本、语音、音乐和视频。实验表明，当将执行验证数据从 1% 扩展到 100% 并将动作专家容量从 64M 参数扩展到 911M 参数时，所有四种模态都获得了一致的收益，同时证明数据质量和跨模态监督改善了生成和执行。