Kirin：来自野外视频的动物运动生成

了解动物运动是动物行为和生物力学建模的基础，但由于缺乏高质量的运动数据，该领域的进展远远落后于人类运动研究。虽然可以在受控环境中捕获人体运动，但对于大多数动物物种来说这是不切实际的，从而导致数据集较小、领域有限，从而限制了动画等下游应用。为了应对这一挑战，我们引入了 Kirin，这是一个从视频中重建运动、大规模学习运动先验并生成可直接应用于动画资产的真实运动的框架。使用大量野生动物视频，我们重建 3D 运动序列并将其与字幕配对以创建 AiM3D，这是第一个为四足动物提供对齐的视频-文本-运动元组的大型数据集。在此数据集的基础上，我们开发了一个视觉引导的运动生成模型，该模型以文本和图像为条件，以指导跨不同动物物种生成真实的运动。最后，通过利用现成的图像到 3D 模型，我们使用生成的运动自动装备 3D 网格并制作动画，生成可立即渲染的动画动物。我们的数据集和框架共同为大规模、文本和图像调节的动物运动生成和动画奠定了新的基础。项目页面：https://kirin-ani.github.io/。