论文

CG-World:面向世界模型的大规模世界状态数据集与协议

CG-World: A Large-Scale World-State Dataset and Protocol for World Models

模型评测基准与评测资源

摘要

世界模型必须学习状态、动作、事件与观测的联合动力学,然而现有的视频、机器人和仿真数据集通常只捕捉了这一结构的一部分。我们提出CG-World,一个源自工业计算机图形学生产流水线的大规模世界状态数据集与协议。CG-World显式记录中间状态,包括多模态语义、空间结构、骨骼与控制器状态、运动曲线、相机与光照参数、物理缓存、接触事件以及多通道渲染结果。CG-World v1包含约85万个时间对齐的1至5秒片段。它将潜在状态、观测、关系、事件与分支元数据分离开来,并将它们组织为统一的时空样本。为支持干预学习与反事实推理,CG-World定义了覆盖事实轨迹、观测干预、动作干预、机制干预和严格反事实分支的分支谱系,并显式记录干预目标、不变量与替代结果。我们在几何条件化视频生成、动作预测和闭环视觉-语言-动作策略迁移上评估该数据集。结果表明,CG-World为受控生成、动作建模和具身策略迁移提供了可复用的结构化监督。我们计划通过持续的数据收集与社区协作扩展CG-World,迈向面向世界模型、Physical AI和具身智能的共享数据基础设施。

CG-World:面向世界模型的大规模世界状态数据集与协议:论文配图
图 3:从工业 CG 项目到 CG-World 数据包的处理流程。