Pythia：迈向多模式时间序列的基础世界模型

摘要

时间序列基础模型提供了跨异构领域进行预测的统一方法。文本上下文和辅助观察提供了有关时间动态的补充信息，但可重用的多模态预测表示仍未得到充分探索。我们引入了 Pythia，这是一个基础世界模型，它通过联合嵌入预测架构来学习跨数据集的上下文条件潜在动态。 stop-梯度数字参考可指导对预测的未来状态进行上下文更正。然后，一个单独的概率解码器适应冻结的预测表示和观察到的历史，将世界模型预训练与观察空间预测解耦。在 MUSE 上，Pythia-Tiny 的归一化平均绝对标度误差 (MASE) 和加权总分位数损失 (WSQL) 分别为 0.6879 和 0.4269，相对于已发布的 MUSE 排行榜中评估的最强模型，误差分别减少了 6.26% 和 5.00%。通过一系列受控实验，我们研究了如何通过共享预训练来设计时间序列世界模型，以及联合嵌入预测学习如何整合多模态信息。结果支持将预测表示学习与概率读出分开，并显示实体描述、事件和协变量的互补贡献。

Pythia：迈向多模式时间序列的基础世界模型的原论文方法或结果图 — 图 1：Pythia 的默认两阶段配方。第 1 阶段从记忆 $h$ 学习数值预测 $n$，并使用上下文记忆 $m$ 进行残差校正，将世界状态 $w$ 与从完整数值序列编码的停止梯度 ($\operatorname{sg}$) 目标状态 $t$ 对齐。匹配使用绝对距离 ($L_{1}$) 和对数均方根 (RMS) 项。独立的数字参考仅指导上下文路径。第 2 阶段冻结预测表示，并根据有序历史、特殊 REG token以及使用弹球损失和参数锚点的世界状态调整三个解码器块；最终的解码器块、归一化和分位数头保持冻结。目标仅提供监督。