EgoGenesis：使用在线锚定投射记忆和 Action-3D RoPE 进行以自我为中心的世界动作建模

以自我为中心的视频为具体人工智能提供了丰富的操作体验，但跨场景、对象、运动和实施例收集各种以自我为中心的数据仍然成本高昂。我们提出了 \method，一种以自我为中心的世界动作模拟器，可以合成可控的、高质量的操作视频来扩展稀缺的现实世界训练数据。 \method{} 基于预先训练的视频生成而构建，并引入了两种几何感知调节机制。在线锚定投影记忆 (OAPM) 保留第一帧 3D 场景锚点，同时在自回归生成期间定期刷新最近的状态。 Action-3D 旋转位置嵌入 (A3D-RoPE) 使用相机感知的 3D 旋转坐标对末端执行器运动进行编码，将动作几何形状注入骨架到视频的交叉注意力中以实现精确控制。这些组件共同提高了长期第一视角生成轨迹中的视觉保真度、几何稳定性和动作对齐。此外，用 400 个方法生成的轨迹来增强 400 个真实轨迹，可以将单臂任务上的分布外真实机器人成功率从 77% 提高到 84%，双臂任务上的成功率从 53% 提高到 70%，这表明合成数据大大提高了下游 WAM 泛化能力。