论文
Kepler4D:通过四维场景状态演化控制未来视频生成
Kepler4D: Controllable Future Video Generation via 4D Scene State Evolution
摘要
视频世界模型旨在保留场景结构并预测动态对象如何超越视觉观察而演变。我们提出了 Kepler4D,这是一个通过显式 4D 场景状态演化来生成未来视频的框架。给定单目视频,Kepler4D 构建背景几何、对象运动历史、粗略空间支持和语义上下文的共享 3D 表示。运动链总结了观察到的运动,并使用视觉语言模型来选择结构化速度和航向决策,并决定是否从下方限制物体中心高度。确定性 执行轨迹 将这些决策转换为未来的对象轨迹,以便在合成之前进行检查和编辑。我们将不断发展的代理渲染为预训练视频生成器的几何控制,将粗略的对象运动与外观和清晰度的合成分开。对真实视频的实验表明,Kepler4D 能够实现可控的对象运动和合理的未来 执行轨迹,同时保持场景一致性。
