论文
代码世界模型:编码智能体 作为世界大脑
Code World Model: Coding Agent as World Brain
摘要
世界模型旨在模拟复杂环境在动作和事件下如何演变,但现有的基于视频的世界模型主要从视觉观察中学习动态,这些模型揭示了结果,而不是控制世界演化的底层知识、规则和机制。这使得维持持久的结果和支持连贯的、开放式的进化变得困难。我们引入了代码世界模型,这是一个框架,通过将语言模型的推理和编码能力与视频模型的生成先验相结合,将世界进化与视觉实现分开。 编码智能体 充当世界大脑,推理事件及其后果并生成可执行代码以维持持久的世界状态并执行规则一致的演化。为了将可执行状态与视觉生成联系起来,我们引入了一种代理表示,该代理表示对逐帧时空约束进行编码并编译成代理视频,从而调节视频模型以呈现高保真视觉观察。我们进一步开发数据管道,用于根据游戏玩法和真实世界视频构建对齐的代理观察对。在 微调 配对游戏数据之后,MiniMax-H3 遵循 编码智能体 构建的简单交互世界中基于代理的时空规范,同时保留丰富的视觉细节和动态。这些结果证明了将持续世界演化的代码与灵活视觉实现的视频模型相结合的潜力,为开放式世界模型提供了一条新路径。