快速LeWorld模型

联合嵌入预测架构 (JEPA)，包括最近的 LeWorldModel (LeWM)，已成为免重建视觉世界模型的有希望的基础。然而，对于视觉规划，LeWM 通过重复应用局部一步潜在转换模型来评估候选动作序列。这种自回归的预测展开使得规划的计算成本很高，并且随着视野的增长，预测的轨迹会受到累积的潜在误差的影响。我们提出了 Fast LeWorldModel (Fast-LeWM)，这是一种快速潜在世界模型，用动作前缀预测取代重复的局部预测展开。给定当前潜在和候选动作序列，Fast-LeWM 对其前缀进行编码，并预测并行执行这些前缀后达到的未来潜在。通过将动作作为基本预测单元的前缀，Fast-LeWM 直接对多个层面上不同程度累积的动作效果进行建模。这种前缀级监督迫使模型学习状态如何在不同动作前缀下不断演化，而不是仅仅拟合一步状态转换。在规划过程中，预测器可以使用编码动作序列中的前缀标记来评估相应的未来潜在状态，而无需显式滚动每个中间想象状态。在多个任务中，Fast-LeWM 比 LeWM 提高了平均成功率，同时大幅减少了规划时间，实现了更低的开环潜在损失，随着预测时域的增加，开环潜在损失的增长速度明显减慢。