投影头的几何形状：调节、不变性和塌陷

我们通过将头部建模为主干表示流形上的可训练黎曼度量，开发了自监督学习中投影头部的几何理论。我们表明，线性头执行隐式子空间白化，而非线性头采用局部度量来满足损失的特定拓扑约束，头深度根据经验决定了这种能力。通过分析维度塌陷，我们证明了平滑非线性头在塌陷平衡点处自然会在 Hessian 矩阵中产生负特征值，从而使其不稳定。我们通过在训练期间持续跟踪优化几何来实证验证这一点，这表明像 Swish 这样的平滑激活可以生成显式负曲率来避免崩溃，而连续时间梯度流下的线性和 ReLU 头则不能，而是依赖于离散时间优化动力学和 BatchNorm。最后，我们从几何角度描述了度量简并如何控制信息不变性权衡，解释了为什么必须丢弃头部。通过对基础模型上的对比和基于去相关的目标进行评估，我们的结果表明，投影头充当通用几何缓冲区，将语义主干与预训练目标的严格、破坏性约束解耦。