具有相机运动的 3D 场景自适应轨迹可控人体图像动画

人类图像动画旨在按照提供的动作序列生成参考对象的视频，已受到越来越多的研究兴趣。随着基于扩散/基于流的视频基础模型的发展，现有动画作品开始将引导信息从2D骨架/姿势升级到3D建模条件。尽管取得了合理的结果，但这些方法在摄像机视图变化的自然场景中合成轨迹可控的人体运动方面面临挑战。在这项工作中，我们提出了一种场景自适应人体图像动画框架，该框架可以在重建的 3D 环境中控制人体运动和相机轨迹以生成视频。为了实现这一目标，我们首先开发了一种地面自适应 3D 运动重定向方法，以实现用户友好的运动轨迹控制，自动适应地面海拔和方向的变化。然后，我们设计了一种视点自适应潜在融合机制，通过场景可见性掩模将点云几何先验注入到生成过程中，从而在相机控制下提供视点变化的精确指导。对两个标准人类图像动画基准数据集的实验表明，我们的方法相对于相关视频生成指标的现有技术有显着改进。项目页面：https://robinhood256100.github.io/web-disp