基于 JEPA 的世界模型的泛化理论

联合嵌入预测架构（JEPA）通过预测未来表示而不是重建观察结果，已成为世界建模的一种有前途的范例。尽管在实证上取得了成功，但对基于 JEPA 的世界模型的理论理解仍然有限。在本文中，我们为基于 JEPA 的世界模型开发了第一个泛化理论。我们将 JEPA 预训练表述为条件谱图学习问题，并表明 JEPA 目标相当于动作条件共生矩阵的低秩分解。在此特征的基础上，我们在 JEPA 预训练误差和下游规划后悔之间建立了联系，从而得出基于 JEPA 的世界模型的有限样本泛化界限。我们的分析揭示了由潜在维度控制的近似样本误差权衡，提供了对潜在与输入级别预测的见解。理论上的权衡促使我们研究一个简单的多深度 JEPA 扩展，该扩展结合了来自不同网络深度的表示。在验证实验中，潜在水平预测在不可预测的观察和困难的规划任务下表现出更大的鲁棒性。与单深度表示和维度匹配控制相比，多深度表示进一步提高了规划的成功率。