MotionMAR：从稀疏观测中进行多尺度自回归人体运动重建

人体运动遵循时间层次结构，从低频全局轨迹过渡到高频细节。受到计算机视觉中多级自回归模型成功的启发，我们提出了 MotionMAR，这是一种从稀疏观测中进行运动重建的从粗到细的框架。它首先估计人体运动的全局轨迹，然后逐渐细化时间细节。该架构由四个集成组件组成。时间多尺度标记化 (TMT) VQ-VAE 以多个时间分辨率对数据进行编码，将语义运动与微小抖动分开。运动自回归网络 (MAN) 在这个潜在空间中运行，预测跨尺度的运动。它首先通过粗略索引建立全局结构，然后生成更精细的索引来恢复特定细节。同时，尺度感知控制（SAC）模块集成了稀疏跟踪数据，以确保生成的输出与实际观测结果保持一致。运动细化网络 (MRN) 随后平滑连续姿势并消除量化伪影。实验表明，MotionMAR 在 AMASS 数据集上实现了最先进的精度，为运动重建提供了可靠的结构感知方法。源代码可在 http://www.lidar humanmotion.net/motionmar/ 上公开获取。