通过主动空间大脑和通用动作小脑进行人形全身操纵

在本文中，我们探索空间感知的人形全身操纵任务。与桌面设置相比，该任务提出了两个关键挑战：1）在具有不同空间关系的复杂 3D 环境中，空间理解具有挑战性。 2）动作生成难以泛化，因为有限且昂贵的真实机器人数据限制了数据驱动模型的泛化。为了应对这些挑战，我们提出了一个可推广的人形机器人操纵框架，该框架利用多智能体大型模型的空间感知和动作生成能力。具体来说，我们的框架包括两个组件：用于主动空间感知和决策的主动空间大脑，以及用于生成可执行机器人动作的通用动作小脑。第一个组件主动感知空间场景并对任务规划和子任务分解做出决策。第二个组件根据第一个模块做出的决策生成可执行的机器人动作，而不需要特定于任务的真实机器人数据。为了对我们的框架进行基准测试，我们从两个角度设计了一组空间操作任务：评估空间感知和理解，以及评估真实的机器人任务性能。结果表明，在不同的任务和环境中，这两个方面都表现出色。