论文

LeapBot-WA:通过预测潜在对齐的世界锚动作模型

LeapBot-WA: World-Anchor Action Models via Predictive Latent Alignments

模型架构新型架构

摘要

世界行动模型(WAM)已成为体现智能的强大范例,但对像素级视频生成的普遍依赖造成了根本瓶颈。强迫模型重建与任务无关的视觉细节会消耗表征能力,并使政策容易受到视觉干扰。在本文中,我们提出了 LeapBot-WA,它通过将联合嵌入预测架构 (JEPA) 用作世界锚点,为 WAM 建立了一种新颖的预测潜在范式。与传统对视觉合成的依赖不同,LeapBot-WA 将世界建模的核心转移到预测语义对齐,直接在潜在的基础空间中提取抽象的物理动力学。为了弥合非高斯预测特征和扩散先验之间的模态差距,我们引入了各向同性语义自动编码器(ISAE),它将锚点的潜在空间重塑为扩散友好的流形,以防止流形漂移。此外,我们设计了一种非对称混合 Transformer (MoT) 架构。在训练期间,Anchor Diffusion Transformer 充当特权动力学专家,指导 Action Diffusion Transformer;在推理时,这个繁重的动态分支被修剪,从而实现零开销执行。 LeapBot-WA 在 LIBERO 上的预测模型中实现了最先进的性能,并与 RoboTwin 2.0 上的顶级生成 WAM 相匹配,而无需大规模轨迹 预训练。它进一步展示了对未见环境的卓越零样本鲁棒性和成功的现实世界传输,为可扩展的机器人控制建立了高效且强大的以潜在为中心的范式。代码:https://github.com/LeapWM/leapbot-wa。