ST-Gen4D：将 4D 时空认知嵌入到 4D 生成的世界模型中

生成模型在制作明显连贯的 2D 视频方面取得了成功，但由于缺乏 4D 时空尺度，在物理世界中仍然具有挑战性。通常，现有的 4D 生成模型直接嵌入宏观尺度约束以增强整体时空一致性。然而，这些方法只能确保全局外观的一致性，而无法揭示物理世界的局部动态。我们的见解是，全局外观结构和局部动态拓扑赋予 4D 时空认知能力，从而实现具有时空规律的 4D 生成。在这项工作中，我们提出了 ST-Gen4D，一种具有基于 4D 时空认知的世界模型的 4D 生成框架。我们的模型以四个关键设计为指导：1）时空表示。我们将各种模态编码为多种表示形式作为特征基础。 2）时空认知。我们将这些表示雕刻成全局外观图和局部动态图，并通过语义桥接时空融合将它们融合以获得 4D 认知图。 3）时空推理。我们利用世界模型来基于 4D 认知推导出未来状态。 4）时空生成。我们利用派生的认知作为条件来指导 4D 高斯生成的潜在扩散。通过将4D内在认知与生成先验深度结合，我们的模型保证了4D生成的结构合理性和拓扑一致性。此外，我们通过聚合公共 4D 数据集和自建子集提出 ST-4D 数据集。大量实验证明了我们的 ST-Gen4D 在 3D 和 4D 生成任务中的优越性。