Re$^2$MoGen：通过 LLM 推理和物理感知细化生成开放词汇运动

文本到动作（T2M）生成旨在通过文本描述控制目标角色的行为。利用文本-运动配对数据集，现有的 T2M 模型在训练数据分布内生成高质量运动方面取得了令人印象深刻的性能。然而，当运动描述与训练文本显着不同时，它们的性能会显着恶化。为了解决这个问题，我们提出了 Re$^2$MoGen，这是一个推理和细化开放词汇运动生成框架，它利用增强的 大语言模型 (LLM) 推理来生成初始运动规划，然后通过强化学习 (RL) 后训练 完善其物理合理性。具体来说，Re$^2$MoGen由三个阶段组成：我们首先采用蒙特卡罗树搜索来增强LLM的推理能力，根据文本提示生成合理的运动关键帧，仅指定根和几个关键关节的位置以简化推理过程。然后，我们应用人体姿势模型作为先验，根据计划的关键帧优化全身姿势，并使用生成的不完整运动通过动态时间匹配目标来监督预训练的运动生成器 微调，从而实现时空完成。最后，我们使用具有物理感知奖励的 后训练 来改善运动质量，以消除 LLM 计划运动中的物理不合理性。大量的实验表明，我们的框架可以生成语义一致且物理上合理的运动，并在开放词汇运动生成中实现最先进的性能。