对齐是 X 到 4D 生成所需的全部

生成扩散模型擅长在多模态控制下合成高质量图像、视频和 3D 内容。然而，由于构建不同数据集的成本高昂以及现有方法的可扩展性有限，任意用户定义的模态到 4D（X-to-4D）生成仍然具有挑战性。本文介绍了 Align4D，这是一个灵活的框架，可将任何模态输入转换为连贯的视频 3D 对，使用视频引导 4D 运动和 3D 数据来塑造 4D 几何形状。 Align4D引入了三个关键技术：（1）对象距离对齐，分别搜索视频对齐和多视图对齐对象距离（VAOD/MAOD），以协调4D渲染与视频以及多视图扩散模型的先验； (2)运动-几何联合对齐，通过同步视频和3D输入约束已知和未知视图，确保一致的4D生成； (3)异步优化，将高斯属性和变形网络训练解耦，以增强运动和几何保真度。我们进一步提出了 X4D 数据集，它集成了提示、图像、视频和 3D 数据进行基准测试。 X4D 和 Consolidated4D 上的实验表明，Align4D 在 X 到 4D 生成中实现了最先进的质量和一致性。项目页面：https://miaoqiaowei.github.io/Align4D/。