论文
作为变分自由能的 SIGReg 目标:JEPA 世界模型的理论主动推理说明
The SIGReg Objective as Variational Free Energy: A Theoretical Active-Inference Account of JEPA World Models
摘要
联合嵌入预测架构(JEPA)是潜在世界模型的主导设计,但它们通常由经验性能而不是规范原则来证明其合理性。我们表明,抗崩溃正则化器的选择决定了 JEPA 的训练目标(预测损失加上加权嵌入正则化器)是否是有效的主动推理(AIF)变分自由能。我们将四个非对比正则化器(VICReg、LogDet、PairDist 和 SIGReg)组织成由先验误校准间隙索引的熵估计器层次结构,并表明间隙的符号(无论估计器从上方还是下方限制潜在熵)决定 AIF 惊喜界限是否存在:VICReg 和 LogDet 是不安全的上限,PairDist 是安全的下界,而 SIGReg消除了间隙。然后我们证明了一个对应定理:在标准恒定噪声编码器模型和成功的 SIGReg 执行(各向同性高斯嵌入)下,间隙消失,目标成为精确的信息瓶颈,意外界限被保留,潜在目标成本成为 AIF 实用值的精确代理,而 VICReg 留下了不可约的二阶各向异性项。我们将对应关系扩展到多步预期自由能、整体认知值和学习策略体系,并且我们确定了当前 JEPA 世界模型无法计算的一个 AIF 术语:状态认知值、未来状态覆盖信号。这些预测在种类上有所不同,而不是程度上的不同,这里将其表述为理论结果,留给单独工作中的实证检验;完整的证明在附录 A 中,每个结果的代数核心在精益 4(附录 D)中经过机器验证。