探索合成数据增强在可控的以人为中心的视频生成中的作用

可控人类视频生成旨在生成具有明确引导的动作和外观的逼真人类视频，作为数字人类、动画和具体人工智能的基础。然而，大规模、多样化和隐私安全的人类视频数据集的稀缺构成了主要瓶颈，特别是对于稀有身份和复杂动作。合成数据提供了可扩展和可控的替代方案，但由于持续存在的 Sim2Real 差距，其对生成建模的实际贡献仍未得到充分探索。在工作中，我们系统地研究了合成数据对可控人类视频生成的影响。我们提出了一个基于扩散的框架，可以对外观和运动进行细粒度控制，同时提供一个完整的测试平台来分析训练期间合成数据如何与现实世界数据交互。通过广泛的实验，我们揭示了合成数据和真实数据的互补作用，并展示了有效选择合成样本以增强运动真实性、时间一致性和身份保留的可能方法。我们的研究首次全面探索了合成数据在以人为中心的视频合成中的作用，并为构建数据高效且可泛化的生成模型提供了实用的见解。