论文
CP4D:组合物理感知 4D 场景生成
CP4D: Compositional Physics-aware 4D Scene Generation
摘要
4D 生成(\textit{即动态 3D 生成)由于其强大的时空建模功能,最近已成为快速发展的研究前沿。然而,尽管取得了显着的进步,现有的方法通常无法捕捉到潜在的物理原理,产生的结果既物理上不一致,又在视觉上令人难以置信。为了克服这一限制,我们提出了 CP4D,这是一种忠实遵守复杂物理动力学的真实感 4D 场景合成的新颖范例。 CP4D 从现实世界场景的构图本质中汲取灵感,其中不可变的静态背景与动态的、物理上合理的前景共存,CP4D 将 4D 生成重新定义为静态 3D 环境与符合物理规律的动态对象的集成。在此基础上,我们的框架遵循三阶段流程: \textbf{1)} 首先,我们利用预先训练的专家模型分别生成环境和前景对象的高保真 3D 表示。 \textbf{2)} 随后,为了为这些对象生成物理上合理的轨迹和真实的交互,我们提出了一种混合运动合成策略,该策略将物理模拟器的先验知识与视频扩散模型中嵌入的常识相结合。 \textbf{3)} 最后,我们开发了一种自动合成机制,可以将静态环境和动态对象无缝融合成连贯、物理一致的 4D 场景。大量实验表明,CP4D 可以生成具有高视觉保真度、强物理合理性和细粒度可控性的可探索和交互式 4D 场景,显着优于现有方法。项目页面:https://anonymous.4open.science/w/CP4D/。