论文

MORPHOS:具有时间结构化潜伏的自回归 4D 生成

MORPHOS: Autoregressive 4D Generation with Temporal Structured Latents

应用与实践内容创作

摘要

我们提出了 MORPHOS,这是一种新颖的自回归框架,可以从不同表示形式的视频生成动态 3D 资产,包括网格、3D 高斯和辐射场。现有方法通常仅限于单一表示,很难对拓扑变化进行建模,或者无法保持长视频的时间一致性。为了解决这些限制,我们引入了时间结构化潜伏(T-SLAT),这是一种统一的 4D 表示,可沿时间维度联合编码几何和外观。利用 T-SLAT,MORPHOS 通过因果注意力自回归生成动态 3D 资产,根据其先前的历史记录调节每个帧,以确保时间一致性,同时处理不断变化的拓扑。我们还提出了一种时间结构增强来减轻自回归生成中的误差积累。 MORPHOS 在多个基准测试中实现了最先进的外观性能和具有竞争力的几何结果,展示了跨各种表示的卓越泛化能力和长视野生成的鲁棒性。