ODEWorld：通过物理时间流的连续预测架构

摘要

在我们居住的物质世界中，空间和时间基本上是连续的。然而，现有的世界建模机器学习范式很大程度上局限于离散时间预测，因此在捕捉物理世界的动态方面表现出明显的低效。我们介绍物理时间流（PT-Flow），这是一种学习在物理时间中运行的连续潜速度场的新颖方法。至关重要的是，序列数据的基本动态通过嵌入结构良好的表示空间中的常微分方程 (ODE) 进行参数化。在这种范式下，未来的预测可以通过压缩潜在空间中的 ODE 求解器重新转换为时间积分。在 PT-Flow 的基础上，我们构建了 ODEWorld，一个高效且通用的连续时间潜在世界模型。通过提取时变特征并在动态表示空间和潜在速度场上强制执行 ODE 属性，ODEWorld 有效解决了潜在世界模型文献中长期存在的表示崩溃问题。即使在长范围预测之后，这也能够实现高质量的图像重建。此外，其连续性质允许任意时间分辨率甚至向后预测，这对于大多数离散时间模型来说是不可能的。最后，ODEWorld可以提供丰富的规划导向信息，方便下游政策学习。综合实验表明，ODEWorld 成功地协调了有利于规划的动态抽象与视觉现实主义，在视频生成和机器人控制方面均表现出色。项目页面：https://dstate.github.io/odeworld_website/。