论文

MotionPyramid:分层运动表示和残差接口

MotionPyramid: Hierarchical Motion Representation and Residual Interfaces

模型架构递归架构

摘要

我们询问是否可以为运动建立感知中看到的表征层次结构,从边缘等局部基元到零件和物体等更高层次的结构。在人形控制中,低级动作指定即时运动命令,而有意义的行为是在较长的时间尺度上组织的,包括接触、步态片段、平衡恢复、触及和全身技能。我们引入了 MotionPyramid,这是一种分层动作表示,可以从运动数据中学习这种结构。从运动跟踪教师开始,它训练了潜在解码器的递归堆栈:底层潜在解码为立即全身运动命令,而较高级别潜在通过较底层展开为时间扩展的运动程序。预训练后,层次结构被冻结并被下游强化学习策略重用为不同控制分辨率下的一系列操作接口。实验表明,学习的级别形成了运动层次结构:较粗糙的界面通过限制对结构化片段的探索来改善早期学习和运动规律性,而较精细的界面则保留反馈控制和最终任务精度。表示探针显示层次结构支持遍历、插值、转换和定性合成,公开跨时间尺度的可编辑控制手柄。最后,我们引入残差接口,让下游策略通过冻结层次结构维护粗略、段级和帧级残差命令。类似于深度网络中的残差或跳跃连接,这允许粗略运动程序和精细残差校正在一个控制器中共存。 MotionPyramid 表明,运动像感知一样可以被组织成可重用的多级表示,提供结构化抽象而不牺牲可控性。