AnyBody：任意关键点引导的自由形式全身人形控制

我们推出了 AnyBody，这是一个统一的全身人形控制器，由部署时选择的身体关键点的任意子集驱动。现有的基于物理的跟踪器要么依赖昂贵的全身运动捕捉和容易出错的轨迹重定向，这成为可扩展的数据收集和策略学习的瓶颈，要么将上半身和下半身控制分解为单独的分层表示，从而牺牲了局部操纵所需的协调全身运动。我们通过学习任何关键点子集都可以解决的单个潜在运动表示来缩小这一差距。为了实现这一目标，我们首先在大型非结构化运动语料库上训练一个特权教师跟踪器，并将其在线提炼成一个确定性编码器-解码器学生，其潜在空间是一个单位球体。然后，我们训练一个 Transformer 关键点编码器，该编码器通过屏蔽自注意力来接纳身体关键点的任何子集，并将其与特权潜在变量对齐。此外，我们将冻结的解码器视为电机先验，并在潜在空间中使用轻量级残差校正器专门处理下游任务。我们通过从任意关键点子集跟踪大规模人体运动、自由形式控制、灵活远程操作以及学习下游行为（包括运动、空中书写和障碍物到达）来证明 AnyBody 的有效性。