超越 MoCap：使用合成人体运动缩放运动标记器以进行生成建模

人体运动生成模型从根本上受到运动捕捉数据集有限多样性的限制，这些数据集主要包含常见的重复动作，无法覆盖复杂的人体运动的长尾，导致学习到的潜在表示中的运动词汇受到限制，并且对罕见的、组合的和高度动态的运动的泛化能力较差。在这项工作中，我们提出了一个框架，通过利用大规模合成人体运动来扩展运动表示空间，引入数据生成管道，生成超出现有数据集分布的多样化、物理上合理的运动序列，并将其与重新设计的 VQ-VAE 标记器集成，以适应这种扩展的运动空间。与在窄数据分布上训练的传统分词器不同，我们的方法联合缩放训练分布和离散码本，使模型能够捕获更丰富的运动基元集。我们证明，使用合成运动进行训练可以显着提高所学运动词汇的覆盖范围和组合性，从而在文本到运动和运动延续等运动生成任务中获得一致的增益，同时保持与包括 MotionGPT 在内的现有框架完全兼容。我们的结果表明，主要瓶颈在于所学习的运动表示的有限支持，而不仅仅是模型架构。将合成运动与表征学习结合起来，为更具表现力、可控性和通用性的人体运动合成提供了一条原则性的道路。