LeWAM：具有基于扩散引导的 MPC 的 JEPA 世界行动模型

世界行动模型 (WAM) 通常通过基于重建的表示来预测行动和未来的观察，该表示携带噪声、冗余信息，这些信息可能会使下游预测变得复杂。我们引入了 LeWAM，一种用于前向、后向、逆向动态和策略预测的双向变换器，在无解码器的 JEPA 潜在训练中通过所有四种模式进行端到端训练。我们看到以下好处：1）对齐：线性探针从 LeWAM 的潜在模型中读取机器人和物体状态比从常规 Le 世界模型（仅向前的 JEPA 世界模型）更好，而潜在模型像 LeWM 一样忽略视觉干扰因素，并且比基于重建的 WAM 好得多。 2) 执行：LeWAM 的闭环评估与在相同编码器上以匹配大小训练的常规流匹配策略相匹配，同时还提供世界模型。 3）规划：使用WAM进行规划时对原始动作进行采样，让MPC能够利用动态模型的不准确性；相反，在策略头的噪声空间中进行规划可以提高这些 WAM 的闭环性能。