World Machine：以潜在状态构建时间序列世界模型

世界模型寻求以结构化、可泛化的方式预测和理解环境，并提供可控仿真。本文提出 World Machine，一种面向时间序列的生成式世界模型架构。该架构以 Transformer 和潜在状态为基础，适应不同数量的观测数据与上下文；相较于计算和内存开销随上下文呈二次增长的传统 Transformer，提供新的建模方式。作者在所提出的合成 Toy1D 数据集上验证方法可行性，展示传统 Transformer 未具备的能力，并分析训练协议各组成部分的作用。