PoseDreamer：具有扩散模型的可扩展且逼真的人体数据生成管道

由于深度模糊性以及从单目图像注释 3D 几何结构的固有困难，获取用于 3D 人体网格估计的标记数据集具有挑战性。现有数据集要么是真实的，具有手动注释的 3D 几何形状和有限的比例，要么是合成的，由 3D 引擎渲染，提供精确的标签，但存在照片真实性有限、多样性低和生产成本高的问题。在这项工作中，我们探索第三条路径：生成数据。我们引入了 PoseDreamer，这是一种新颖的管道，它利用扩散模型来生成具有 3D 网格注释的大规模合成数据集。我们的方法将可控图像生成与直接偏好优化相结合，以实现控制对齐、基于课程的硬样本挖掘和多阶段质量过滤。这些组件一起自然地维护 3D 标签和生成图像之间的对应关系，同时优先考虑具有挑战性的样本以最大化数据集效用。使用 PoseDreamer，我们生成了超过 500,000 个高质量合成样本，与基于渲染的数据集相比，图像质量指标提高了 76%。在 PoseDreamer 上训练的模型所达到的性能与在现实世界和传统合成数据集上训练的模型相当或更好。此外，将 PoseDreamer 与合成数据集相结合比结合真实世界和合成数据集具有更好的性能，这证明了我们数据集的互补性。我们将发布完整的数据集和生成代码。