STRIKE：以视觉状态转移组织物理世界建模

物理世界建模需要预测交互如何改变场景，而不仅仅是生成连贯的运动。我们提出了 STRIKE，一个将视觉状态转换学习与密集视频生成分开的框架。我们通过从训练视频中提取观察到的状态并将其与转换描述和时间偏移配对来构建事件对齐的监督。基于图像的过渡模型学习根据当前图像、局部过渡规范和经过的时间来预测下一个场景配置。在推理时，预先训练的视觉语言规划器会预测时间转换规范，并且学习到的转换模型的递归应用会产生一系列未来视觉状态。然后，单独训练的动态模型会根据这些状态及其时间位置生成完整的推出。在Physics-IQ Verified、PhyGenBench、Pisa-Experiments 和RoboTwin2.0 上进行的实验表明，在物理一致性和操作视频保真度的基准测量方面，STRIKE 相对于相应的视频主干基线有所改进。这些结果支持学习的视觉状态转换作为物理世界建模的有效中间表示。