论文
DexWorldModel:因果潜在世界建模,实现具体任务的自动学习
DexWorldModel: Causal Latent World Modeling towards Automated Learning of Embodied Tasks
摘要
部署生成式世界动作模型进行操作受到冗余像素级重建、$\mathcal{O}(T)$内存扩展和顺序推理延迟的严重瓶颈。我们引入了因果潜在世界模型 (CLWM),它采用 DINOv3 特征作为生成目标,将交互语义与视觉噪声分开,从而产生高度鲁棒的领域泛化。为了克服内存扩展问题,CLWM 采用了双状态测试时间训练 (TTT) 内存,可保证长期任务的严格 $\mathcal{O}(1)$ 占用空间。为了克服部署延迟,我们提出推测异步推理(SAI)来掩盖物理执行背后的部分扩散去噪,从而将阻塞延迟减少约 50\%$。为了扩展稳健的政策,我们推出了 EmbodiChain,这是一个在线框架,通过在训练期间注入无限的基于物理的轨迹流来建立效率定律。大量实验验证了 CLWM 在复杂的双臂模拟和物理机器人上前所未有的零射击模拟到真实传输方面实现了最先进的性能,优于根据真实世界数据明确微调的基线。