扩展 SPHERE-JEPA：超球面统计正则化器家族

在自监督学习（SSL）中，通过在单位超球面上明确强制执行均匀分布来防止表示崩溃已被证明是有效的。然而，当前的框架通常依赖于切片统计正则化器，例如 SIGReg（在 LeJEPA 中使用）和 SUSReg（在 SPHERE-JEPA 中使用），它们通过沿着随机一维方向的蒙特卡罗采样来近似这个连续目标。这种随机性将投影方差注入训练梯度中，破坏优化的稳定性并阻碍收敛。在这项工作中，我们首先证明，通过分析整合这些随机投影本身会产生确定性的最大平均差异（MMD），从而绕过切片方法的方差。受这种等价性的启发，我们直接在球体上制定 MMD、核斯坦因差异 (KSD) 和 Kullback-Leibler (KL) 散度的全维目标，以强制均匀分布。为了防止空间偏差，我们为这些测试配备了通过谱理论构建的旋转不变内核，系统地评估了两个规范系列：平滑指数衰减（Heat）和严格频率截止（Bandlimited）滤波器。根据经验，与 ImageNet 和 Galaxy10 上的随机切片正则化器相比，消除投影引起的噪声会带来更稳定的优化、更快的收敛以及一致的改进。此外，我们揭示了统计测试的选择塑造了学习的潜在空间的几何形状：MMD 和 KSD 有利于适合以对象为中心的域的局部集群组织，而基于 KDE 的连续 KL 散度促进细粒度实例分离，在非集群程序纹理检索上产生最强的结果。