论文
DeltaWorld:动作条件的潜增量世界模拟器
DeltaWorld: Physically Consistent Interactive World Simulators via Action-Conditioned Latent Increment Learning
摘要
交互式世界模拟器可通过预测动作后果为机器人规划、策略训练与评估提供可扩展环境,减少对反复物理rollout的依赖。为此它们必须生成忠实响应机器人动作、并长期保持机器人-物体交互动力学的未来图像序列。但现有世界模型通常直接预测整个下一潜状态,常漏掉机器人动作引发的细微变化,产生物体互穿与过度形变等物理不合理结果。为此我们提出面向机器人操作的物理一致交互世界模拟器DeltaWorld:引入增量潜转移模型(Delta-LTM),预测动作引起的潜特征变化并加到当前潜状态上得到下一状态,而非直接预测下一潜状态;为减轻预测未来帧中的互穿与过度形变,交互感知潜对齐构建反事实交互区域并监督交互相关潜变化。DeltaWorld在IWS操作基准与自采的跨机器人本体数据集上评估:跨机器人数据集上FVD较IWS基线降低46.6%、LPIPS降低31.1%。结果凸显DeltaWorld在机器人操作长程动作条件视频预测上的潜力。