FlowHMR：从视频恢复物理可信的3D人体运动

我们提出FlowHMR——从单目视频恢复物理合理的全局3D人体运动的框架。既有学习方法通常直接从视频回归人体运动并以几何监督训练网络；但单目视频的人体运动恢复在深度上本质歧义，直接回归趋向塌缩到平均解，且恢复的运动不保证物理合理，基于物理的跟踪常失败。为此我们把视频动捕形式化为视频条件的动作生成问题并先预训练流匹配模型；给定输入视频，预训练模型生成多样运动候选，但并非都忠实于视频或物理可跟踪。因此我们用GRPO后训练模型，配两个奖励：保真奖励鼓励与输入视频一致；跟踪奖励偏好物理控制器能成功跟踪的动作。两奖励共同移动模型输出偏好，使后训练模型保持对输入视频忠实的同时产出更物理合理的运动。我们进一步发布Wild-4K——约4千互联网视频的大型多样数据集，用于评估野外人体运动恢复。Wild-4K上的定性与定量实验显示本方法在总体运动保真上超越SOTA，物理跟踪成功率82.47%对最强基线GVHMR的62.82%。