双线性世界模型：学习具有结构化动力学的表示以实现高效控制

世界模型共同学习潜在的表示和动态，以预测高维观察在行动下如何演变。在这项工作中，我们提出了一个 JEPA 风格的世界模型，在该模型中，我们不学习任意的潜在动态，而是限制它们遵循双线性参数化。这种结构可以实现高效的规划和控制，同时将建模负担转移到编码器上，从而鼓励更丰富的表示，从而暴露系统的可控几何形状。特别是，这种结构化参数化允许我们在结构上强制执行操作的可恢复性，从而防止表示因构造而崩溃。尽管规定双线性参数化可能看起来有限制性，但我们表明，一大类非线性动力系统允许动力学变为双线性的变换。根据经验，我们在标准 2D 和 3D 控制任务中表明，可以直接从高维观测中学习双线性参数化动力学的表示，从而将规划时间减少近三个数量级，同时保持甚至提高控制精度。我们还提出了要求更高的长期规划和实时控制制度，并证明我们的方法在这两个方面都取得了成功，使 JEPA 式的世界模型超越了短期离线规划。