论文
GE-Sim 2.0:用于机器人操作的综合闭环视频世界模拟器的路线图
GE-Sim 2.0: A Roadmap Towards Comprehensive Closed-loop Video World Simulators for Robotic Manipulation
摘要
我们推出 GE-Sim 2.0(Genie Envisioner World Simulator 2.0),这是一种用于机器人操作的闭环视频世界模拟器。 GE-Sim 2.0 以 Genie Envisioner 的动作条件视频生成框架为基础,对数千小时的现实世界机器人数据进行了重新训练,涵盖远程操作、丰富的接触交互和机器人策略轨迹采样,大大提高了动作跟踪保真度和轨迹覆盖范围。在此基础之上,三个新模块闭合了从视频模拟到策略学习的循环:状态专家从视频潜伏中解码本体感受状态,以支持下游 VLA 策略的下一个块预测;世界法官根据任务指令对生成的轨迹采样进行评分,产生机器可验证的成功信号和奖励来代替手动检查;加速框架可在单个 H100 上在 2.3 秒内交付 25 帧,在推理时跳帧高达 4 倍,以进行长视野评估。 GE-Sim 2.0 仅以 2B 参数就在公共 WorldArena 排行榜上名列前茅,其性能优于专用机器人世界模型和闭源通用视频生成器,并且针对其生成轨迹和奖励进行训练的策略转化为可衡量的现实世界收益,将 GE-Sim 2.0 建立为可扩展评估和操纵策略闭环学习的实用平台。