用于测试时人体运动控制的多尺度从粗到精建模

我们提出 MSCoT，这是一种用于测试时人体运动合成和控制的多尺度、从粗到细的模型。与最近依赖于多个迭代去噪/词元预测步骤或针对特定控制信号定制的模块的方法不同，MSCoT 将运动离散化为多尺度分层表示，并以从粗到细的方式预测每个时间尺度的整个词元序列。基于这种从粗到细的范式，我们提出了一种有效的多尺度词元引导策略，该策略克服了离散采样的挑战，并将词元分布引导向控制目标，从而实现快速灵活的控制。为了解决离散码本的局限性，轻量级词元细化器进一步向离散词元嵌入添加连续残差，并允许可微的测试时间细化优化，以确保与控制目标的精确对齐。 MSCoT 能够产生符合控制约束的高质量运动，同时提供比基于扩散的方法快得多的采样。对流行基准的实验表明 MSCoT 的可控文本到运动生成性能优于现有基线，具有更好的运动质量（FID 改进 48%）、更高的控制精度（-61% 平均误差）以及 HumanML3D 上的推理速度快 10 倍。