OptiWorld：物理约束下视频世界生成的最优控制

视频生成模型正在成为世界模型的可扩展形式，但它们主要生成合理的运动，而不是主动控制或优化底层动态。因此，生成的视频中的对象可能遵循不安全、不平滑、低效或物理不一致的轨迹。在这项工作中，我们提出了 \textbf{OptiWorld}，一个在推理时将经典最优控制引入视频生成的框架。 OptiWorld 首先提取一个紧凑的、与任务相关的世界状态，然后在物理约束下规划一条最佳轨迹，最后渲染以此轨迹为条件的视频。我们将规划制定为连续流形上的几何问题，它将 3D 几何和任务相关的物理约束转换为统一的规划几何。通过添加这个最佳控制层，OptiWorld 生成具有更好动态的视频，在多个任务中展现出强大的潜力，包括目标条件图像到视频生成、视频动态编辑和反事实生成。