EgoExo-WM：为 Ego World 模型解锁 Exo 视频

以自我为中心的世界模型为智能体进行预测和计划提供了一个有希望的方向，但其性能受到以自我为中心的训练数据的有限可用性及其对人类物理行为固有的部分可观察性的限制。相比之下，外向中心视频内容丰富，可以很好地揭示身体姿势，但缺乏与特工的动作空间的直接对齐，而且不以自我为中心。我们提出了一种弥合这一差距的方法，通过从外心视频中提取结构化身体姿势作为动作的表示，并将外心视频转换为自我中心视频，并根据人体运动学先验信息进行转换。此过程解锁了以自我为中心的世界 模型训练 中野外外中心数据的集成。我们表明，使用转换后的数据训练全身动作条件的自我中心世界模型可以显着提高预测质量和下游规划性能，其中我们推断出实现视觉目标状态所需的身体姿势序列。我们的方法为利用任意野外视频来构建强大的以自我为中心的世界模型铺平了道路，进一步推动了机器人规划和增强现实指导中的应用。