论文
CausalWM：具身世界模型的因果思想链推理
CausalWM: Causal Chain-of-Thought Reasoning for Embodied World Model
摘要
具身世界模型学习从视觉观察和控制信号中预测未来的物理动态，其中物理知识隐式地与潜在表示纠缠在一起。我们引入了 CausalWM，这是一种 16B 体现的世界模型，可以在未来视频预测之前执行显式因果思维链推理。 CausalWM 将有用的变量组织成推理轨迹，使模型能够逐步捕获物理进化背后的因果依赖性。为了训练 CausalWM，我们收集了 31K 小时的体现数据，并开发了一个三阶段范式，包括大规模视频预训练、因果 CoT 中期训练和多目标 RL 后训练。尽管仅使用有限的监督 CoT 变量集，CausalWM 仍展现出新兴的上下文学习功能，实现上下文视觉特征指导和高效的几步生成。 CausalWM 在语言条件、动作条件、单视图和多视图基准测试中实现了最先进的性能，包括 TriWorldBench 排行榜上的 Top-1 性能。