超越高斯世界：潜在几何对于 JEPA 很重要

最近的联合嵌入预测架构（JEPA）通过限制学习表示遵循规定的目标分布（例如各向同性高斯分布或超球面上的均匀分布）来防止表示崩溃。克林特等人。 （2026）表明，在他们的欧几里德假设下，匹配高斯目标可以将高斯潜在变量恢复到线性变换，并且高斯是具有这种保证的唯一分布。我们将他们的分析扩展到嵌入式黎曼流形上支持的潜在变量，并推导了潜在几何和正对动力学的条件，在这些条件下，对齐和精确的分布匹配保证了线性恢复。特别是，当潜在变量均匀分布在球体上并且表示与相同的球面分布匹配时，每个最佳表示都会恢复潜在状态直至正交变换。这表明高斯唯一性不是分布匹配 JEPA 的普遍属性：非欧几里得潜在几何可以接受其他线性可恢复分布。我们进一步推导出球形世界比高斯世界严格更严格的近似恢复界限。高斯、球形和环形潜在空间的实验表明，当优化成功时，几何兼容的目标会产生更好的线性恢复，而不匹配的目标会扭曲潜在结构。这种优势在高维克利福德环世界中仍然存在。