PhysStream：具有结构化场景内存和细粒度运动控制的基于物理的流式视频生成

视频生成的交互控制正在从粗略的提示转向对动态场景进行细粒度的、具有物理意义的操作。然而，现有的可控方法要么在生成开始之前需要完整的控制时间表，要么使用指示对象位置而不是物理动力学的像素空间信号。为了解决这些限制，我们提出了 PhysStream，一种基于物理的图像到视频合成的自回归模型，它结合了结构化场景记忆（从先前生成的帧在线导出的位置图和对象跟踪图），并通过编码物理量的稀疏速度增量信号支持细粒度运动控制，让模型学习底层动力学。我们分两个阶段训练我们的模型：首先使用运动控制调节对双向模型进行微调，然后使用额外的结构化场景记忆来训练因果自回归模型，进一步提高物理一致性。 PhysStream 可实现对多对象桌面刚体场景的交互式中期控制（这是先前方法不支持的功能），与合成基准上最强的基线相比，将运动分布距离 (FVMD) 减少 33%，将轨迹误差减少 12%，并且在超过 85% 的野外比较中受到人类评估者的青睐。请查看我们的网站了解更多详细信息：https://czzzzh.github.io/PhysStream