HyperWorld：超图结构化状态序列化改善学习得到的文本世界模型

世界模型使语言模型代理能够预测环境动态并在行动之前进行计划。在文本环境中，模型必须从序列化状态描述中学习符号动作效果，但序列化结构的作用仍未得到充分探索。我们提出了 HyperWorld，这是一项针对学习文本世界模型的状态序列化的受控研究。我们将原始观察结果与相同真实状态的三个符号序列进行比较：独立句子、成对三元组和以实体为中心的超边缘单元，它们围绕实体和关系对多个相关事实进行分组。所有变体都使用相同的训练目标：给定一个状态和一个动作，预测象征性效果或判断该动作不可行。在模型规模、数据预算以及分布内和分布外测试世界中，超边缘序列化为 0.5B--1.5B 模型和分布偏移提供了最明显的收益。较大的模型会减少差距，并且成对三元组可以在分布内精确匹配上匹配或稍微超过超边，但超边实现最强的分布外事实 F1 以及可行性检测和效果预测之间的最佳中小规模权衡。在下游贪婪规划中，超边缘世界模型在测试的表示中也获得了最高的成功率。这些结果表明，高阶状态组织对于学习的符号世界模型来说是一种简单但有效的归纳偏差，特别是当模型容量有限或测试环境与训练不同时。