论文

Physis-Lang:作为视频世界模型物理表示的自进化语言

Physis-Lang: Self-Evolving Language as a Physical Representation for Video World Model

模型训练合成数据

摘要

视频世界模型有望预测物理世界如何演变,但它们通常会生成违反基本物理原理的视觉上合理的视频。现有方法通常假设自然语言不足以表示可靠生成所需的物理知识,因此引入了额外的视觉、潜在、数字或基于规划的信号。我们重新审视这一假设,并引入 Physis-Lang,这是一个自我进化的框架,它将物理语言视为跨数据管理、模型训练和视频生成的共享且可优化的表示。 Physis-Lang 通过语言来表示物理过程,描述其相关实体、原因、相互作用、控制原理、时间演化和效果。为了改进这种表示,我们构建了 PhysCapBench,它将物理过程分解为原子断言,并使用召回率和精度来评估描述。 Agentic 循环迭代地分析断言级错误并细化用于生成物理标题的指令。 Physis-Lang 进一步将模型缺陷转换为文本描述,并使用语言引导检索来识别涵盖缺失物理过程的视觉多样化视频。使用 Wan 和 Cosmos 主干网对四个广泛使用的物理视频基准进行的实验表明,物理合理性得到了持续改进。值得注意的是,从开源 Cosmos3-Nano 主干网开始,我们的 Physis-Lang 增强模型超越了领先的专有 Veo 3.1 模型。