论文

Sculpt4D:通过稀疏注意力扩散生成 4D 形状 Transformer

Sculpt4D: Generating 4D Shapes via Sparse-Attention Diffusion Transformers

模型架构新型架构

摘要

3D 生成建模领域的最新突破在静态形状合成方面取得了显着进展,但由于时间伪影和过高的计算需求,高保真动态 4D 生成仍然难以实现。我们提出了 Sculpt4D,这是一种原生 4D 生成框架,它将高效的时间建模无缝集成到预训练的 3D Diffusion Transformer (Hunyuan3D 2.1) 中,从而缓解 4D 训练数据的稀缺性。其核心在于块稀疏注意力机制,该机制通过锚定到初始帧来保留对象身份,同时通过时间衰减稀疏掩模捕获丰富的运动动态。该设计以高保真度忠实地模拟了复杂的时空依赖性,同时避开了完全注意力的二次开销,并将网络总计算量减少了 56%。因此,Sculpt4D 在时间相干 4D 合成中建立了一种新的最先进技术,并绘制了一条通往高效且可扩展的 4D 生成的道路。