A-JEPA：何时动作条件足以恢复因果机制

最近的经验和理论进展表明，联合嵌入预测架构（JEPA）可以学习有意义的表示，以对未来结果进行动作条件预测，从而成为世界模型的基础结构之一。然而，一般来说，准确的预测并不一定意味着产生观察到的动态的潜在因果状态的恢复。这项工作研究了 JEPA 何时以及如何从观察中恢复潜在的因果状态。我们首先引入一个潜在变量模型，其中高维观察是从潜在因果状态生成的，其动态由动作条件转换机制控制。基于这个公式，我们开发了一个通用的信息论目标，它将用于学习过渡动力学的条件似然最大化与用于保留潜在状态信息的熵最大化相结合。然后，我们建立可识别性条件，在该条件下，通过该总体目标学习的表示可以恢复潜在的潜在因果状态，直至组件方面的可逆变换和排列。这种可识别性的一个关键条件是转换机制中有足够的动作引起的变化。在这一发现的指导下，我们用动作调制高斯加性噪声模型实例化总体目标，产生动作调制 JEPA (A-JEPA)。合成环境的实验验证了可识别性条件下的理论结果以及对适度违背假设的鲁棒性，而视觉基准则证明了状态恢复和转移到看不见的转换机制的改进。