论文

Web 世界模型(Web World Models)

Web World Models

智能体系统Agent 环境交互

摘要

语言 Agent 越来越需要能在其中行动、记忆和学习的持久世界。现有方法处于两个极端:传统 web 框架提供由数据库支撑、可靠但固定的上下文,而完全生成的世界模型追求无限环境,却牺牲了可控性与实际工程可行性。在本工作中,我们提出 Web World Model(WWM),一条中间路线:世界状态与“物理”用普通 web 代码实现以保证逻辑一致性,而大型语言模型在此结构化潜在状态之上生成上下文、叙事和高层决策。我们在一个真实的 web 技术栈上构建了一套 WWM,包括以真实地理为依据的无限旅行图鉴、虚构星系探索者、web 规模的百科与叙事世界,以及模拟和游戏式环境。在这些系统中,我们总结出 WWM 的实用设计原则:将代码定义的规则与模型驱动的想象分离,将潜在状态表示为带类型的 web 接口,并利用确定性生成实现无限但结构化的探索。我们的结果表明,web 技术栈本身可以充当世界模型的可扩展基底,实现可控而又开放的环境。项目页面:https://github.com/Princeton-AI2-Lab/Web-World-Models。

Web 世界模型(Web World Models) 配图
图 1:左:传统 Web 框架将上下文固定在数据库中,限制了可扩展性。中:Web World Model(我们的方法)将逻辑与内容解耦,在基于代码的物理层之上通过 LLM 生成无限上下文,而无需繁重的数据存储。右:完全生成式的世界模型可以产生无限上下文和丰富的视频/3D 内容,但当世界主要通过生成来构建时,就更难维持一个固定、确定性的全局框架,从而降低可控性。