论文

代码计划、扩散渲染:开放式生成世界建模

Code Plans, Diffusion Renders: Open-Ended Generative World Modeling

智能体系统Agent 架构与控制循环

摘要

我们引入 \textbf{CoDeR},一种世界建模的新范式。与通过视觉观察隐式表示世界动态的现有视频世界模型不同,我们的系统用代码显式构建可执行世界,并采用视频生成模型进行视觉实现。具体来说,我们协调五个互补的角色,将高级概念转化为结构化的世界规则、可执行的动态和感知观察。这种设计支持 \textit{长期记忆}、\textit{开放式交互}、\textit{自主世界进化} 和 \textit{多智能体场景},其中多个实体可以在当前观察范围之外持续行动、交互和进化。大量的实验表明,我们的框架极大地扩展了现有世界模型的功能,实现了长期记忆、开放式交互、自主进化和持久的多智能体动态,同时在多个评估设置中实现了最先进的性能。代码和模型权重将公开。项目页面:\href{此 https URL}{CoDeR}。