论文
ChronoWorld:通过时空线索和几何反射生成摄像机控制的一致 4D 世界
ChronoWorld: Camera-Controlled Consistent 4D World Generation via Spatiotemporal Cues and Geometric Reflections
摘要
虽然现有的摄像机可控视频生成模型可以生成视觉上引人注目的序列,但保持内在的 4D 时空一致性仍然具有挑战性。为了解决这个限制,我们提出了 ChronoWorld,一个“观察--状态--反射”框架,它利用时空因果线索和重建先验来生成全局一致的、自由视图的 4D 场景。给定上下文视频,我们引入了时空极线因果注意机制,该机制在整个生成过程中强制执行多视图极线约束和时间因果关系。此外,我们还开发了一种具有 4D 检索策略的重建驱动的几何反射管道,可以对生成的输出进行动态自我评估和校正,从而提高一致性和准确性。大量实验表明,ChronoWorld 在时空一致、电影品质的 4D 场景生成方面实现了最先进的性能,在不同场景中具有强大的泛化能力和高保真几何形状。
