论文

EPM-JEPA:JEPA 系列世界模型中的操作员端体验调制

EPM-JEPA: Operator-Side Experience Modulation in JEPA-Family World Models

模型评测模型行为与机制分析

摘要

JEPA 系列世界模型使用静态预测器,当测试时动态偏离训练时,其权重不会调整。我们比较了在分布偏移下将累积经验合并到 JEPA 预测器中的两种机制:操作数侧注入,其中压缩经验表示作为残差添加到预测器的隐藏状态 (EI-JEPA),以及操作员侧调制,其中相同的表示通过应用于预测器权重的 LoRA 生成低秩权重增量 (EPM-JEPA)。在预先注册的比较(移动 MNIST,重力转移)中,EPM-JEPA(D_shift^{n=50} = 0.7848 +/- 0.0078,三个种子)与 EI-JEPA (0.8238) 的差异为 delta = 4.74% - 结果 C:无效结果 - 根据我们规定的标准,有效结果。作为次要的、非预先注册的观察结果,EPM-JEPA 比无记忆基线 (0.8000) 提高了 1.90%,在种子中一致,而 EI-JEPA 表现低于基线,表明这种好处是特定于权重层面的调制的。我们的主要贡献是机制分析:D_shift^{n=50} 轨迹反映了三个独立的动态过程 - 缓冲区循环、EMA 目标漂移和 +0.021 的固有 LoRA 稳定瞬态 - 而不是收敛到平衡。这些发现激发了 PEM-JEPA,这是一个基于物理学的后续产品,解决了这种动态峰值限制。