论文
Flow-JEPA:JEPA 世界模型中鲁棒潜在动力学的流匹配
Flow-JEPA: Flow Matching for Robust Latent Dynamics in JEPA World Models
摘要
联合嵌入预测架构 (JEPA) 在学习紧凑预测表示方面表现出了强大的潜力,而 LeWorldModel (LeWM) 将这种范式扩展到从像素进行免重建的潜在世界建模。然而,其确定性自回归预测器通过重复的一步转换生成未来状态,这会累积错误并对与任务无关的视觉扰动保持敏感。在这项工作中,我们提出了 Flow-JEPA (F-JEPA),这是一种条件流匹配动力学模型,它联合生成一系列以当前观察和动作为条件的未来潜在状态。高斯分布充当流源,将矢量场暴露于扰动的潜在轨迹,因为它学会将它们传输到干净的未来表示。该公式保留了免重构 JEPA 框架,同时用随机轨迹级预测取代了逐点转移回归。 F-JEPA 在干净观测下将平均成功率从 $86\%$ 提高到 $92\%$,在噪声条件下从 $67\%$ 提高到 $86\%$,这表明条件流匹配为 JEPA 世界模型中的确定性自回归动力学提供了一种有希望的替代方案。