Stream4D：流式自回归扩散视频模型的 4D 一致性

摘要

流式自回归扩散模型可以实现实时、长视野的视频生成，但其训练目标是优化局部帧预测，而不是优化连贯世界的几何和动态：长时间的生成轨迹会累积几何漂移并退化为静态或不自然的运动。最近的双向方法使用基于 3D Gaussian-Splatting 重建的奖励信号解决了这个问题。然而，单个刚性 3D 重建无法对动态场景进行建模，因此该评论家将真实的对象运动作为重建误差进行惩罚，并通过冻结视频来最大化。这种快捷方式在 AR 设置中尤其有害，因为每个块都可以传播已经静态的配置。在这项工作中，我们提出了 Stream4D，它用前馈 4D 重建奖励取代了静态批评家，该奖励显式地模拟场景动态，从而允许连贯运动获得高一致性奖励。为了进一步指导运动幅度和质量，我们添加了一个运动先验，奖励自然场景流幅度，同时惩罚抖动和非刚性伪影。我们的最终方案将这两个术语与轻量级感知锚结合起来。跨越各种自回归视频主干和各种生成范围，Stream4D 提高了 4D 重建质量，更有效地保留运动，并实现了更高的人类对齐偏好。项目页面：https://banyuanhao.github.io/Stream4D/