PhyMotion：用于生成基于物理的人类视频的结构化 3D 运动奖励

生成逼真的人体动作是视频生成中尚未解决的核心挑战。虽然基于强化学习 (RL) 的 后训练 最近推动了一般视频质量的提高，但将其扩展到人体运动仍然受到奖励信号的瓶颈，无法可靠地对运动真实性进行评分。现有的视频奖励主要依赖于 2D 感知信号，没有明确地建模 3D 身体状态、接触和关节式人体运动的动力学，并且通常为具有漂浮身体或物理上难以置信的运动的视频分配高分。为了解决这个问题，我们提出了 PhyMotion，这是一种结构化、细粒度的运动奖励，它基于物理模拟器中恢复的 3D 人体轨迹，并沿着物理可行性的多个维度评估运动质量。具体来说，我们从生成的视频中恢复 SMPL 身体网格，将它们重新定位到 MuJoCo 物理模拟器中的人形物体上，并沿三个轴评估所产生的运动：运动学合理性、接触和平衡一致性以及动态可行性。每个组件都提供与运动质量的特定方面相关的连续且可解释的信号，从而允许奖励捕获运动的哪些方面在物理上是正确的或违反的。实验表明，与现有的奖励公式相比，PhyMotion 与人类判断的相关性更强。这些收益延续到基于 RL 的 后训练，其中优化 PhyMotion 比优化现有奖励带来更大、更一致的改进，在自动指标和盲人评估下提高自回归和双向视频生成器的运动真实感（+68 Elo 增益）。消融表明，三个轴提供了互补的监督信号，而奖励则以适度的训练开销保持了整体视频生成质量。