GEM-4D：用于机器人操作的几何增强视频世界模型

视频世界模型可以通过单个指令生成现实的未来，但它们通常无法跨时间一致地跟踪相同的物理点。因此，生成的视频看似合理，但缺乏可靠的动作执行（例如机器人操纵）所需的物理基础。我们提出了 GEM-4D，一种基于几何的视频世界模型，它通过在训练期间将从预训练的几何基础模型中提取的密集 4D 对应监督注入到视频生成主干中来解决这一限制。这种监督使模型能够联合捕获外观和几何结构，同时保留单流架构，而无需额外的推理成本。我们进一步引入了一个逆动力学模块，该模块将对应一致的视频转出转换为可执行的机器人轨迹，从而能够在现实世界和模拟操纵中直接部署。 GEM-4D 在模拟和现实场景中的视频预测和几何一致性方面均实现了最先进的性能，并将现实世界的操纵成功率从 61% 提高到 81%。其他结果可在 https://gem-4d.github.io/ 获取。