论文
适用于任何 4D 的前馈运动中间
Feed-forward Motion In-betweening for Any 4D
摘要
4D 动力学(随时间演变的 3D 几何)是物理世界的基本表示,在世界建模(例如动画和游戏)中发挥着至关重要的作用。由于缺乏具有任意形状的大规模、长视野 4D 网格数据,早期的文本到 4D 方法依赖于 蒸馏 或视频扩散先验的测试时间优化,使得推理速度极其缓慢。最近的前馈生成器大大降低了推理成本,但提供了有限的时空可控性,并且短视野生成通常会导致长视野序列中的错误累积。我们提出了一种新颖的前馈中间框架,用于具有关键帧调节的任意 4D 网格。基于通用网格动画潜在特征,我们引入了逐帧网格 VAE,它将每个帧编码为拓扑不可知的潜在标记,由用于关键帧调节的参考网格锚定。我们进一步介绍了一种具有 MMDiT 主干的关键帧调节整流流模型,该模型可合成以稀疏关键帧为条件的非关键帧帧。实验表明,DyMesh16 和 DyMesh32 基准测试均具有强大的性能和改进的可控性。