VISReg：JEPA 训练的方差-不变性-草图正则化

自监督学习方法通​​过建模启发式或嵌入空间的显式正则化来防止嵌入崩溃。其中，VICReg 将正则化分解为方差和协方差目标，提供灵活性和可解释性。然而，协方差仅捕获二阶统计数据——鼓励去相关，但无法强制执行稳定训练所需的完整分布形状。基于草图的方法（例如 SIGReg）通过将嵌入对齐到各向同性高斯来解决这个问题，但缺乏灵活性，并且会在崩溃时遭受梯度消失的问题。我们提出了方差-不变-草图正则化（VISReg），它将协方差替换为基于 Sliced-Wasserstein 的草图目标，该目标强制执行完整的分布形状，同时保留用于比例控制的方差项。通过解耦比例和形状，VISReg 将 VICReg 的灵活性与草图方法的分布严谨性结合起来，即使在折叠情况下也能提供稳健的梯度。我们证明 VISReg 可以线性扩展，在低质量数据集上优于现有的正则化，并且对长尾和低秩机制具有弹性。 VISReg 在 ImageNet-1K 上进行了预训练，在分布外数据集上实现了最先进的性能。它在 ImageNet-22K 上进行了预训练，与 DINOv2 的 OOD 性能相匹配，尽管后者使用了 10 倍以上的数据 (LVD-142M)。项目及代码：https://haiyuwu.github.io/visreg。