球体回缩标准化

残差连接是稳定训练深度神经网络的事实上的机制。测地归一化 (GeoNorm) 将它们重新投射到黎曼流形上，将每个层输出与当前隐藏状态正交，并通过黎曼指数图应用结果更新。因此，每个隐藏状态都保持恒定的 $\ell_{2}$-范数，将残余流限制在超球面。然而，指数图只是缩回图大家族中的一个成员。我们证明，在超球面上，整个系列都崩溃为单一标量设计选择。一种回缩与另一种回缩的区别仅在于更新的幅度如何转换为隐藏状态和更新所跨越的平面内的旋转角度。这一观点将欧几里得残差连接和 GeoNorm 置于一个框架中。使用度量投影回缩和 Cayley 回缩对其进行实例化会产生 Proj-SpheretNorm 和 Cay-SpheretNorm，它们完全保持范数，但只需要代数运算。两者都被证明是角收缩单参数族 $p$-SpheretNorm 的成员，其旋转角会饱和而不是无限制地增长。上述两种方法在 $p = 1$ 和 $p = 2$ 处精确恢复，而恒等映射和 GeoNorm 仅作为两端的限制出现。在 nanoGPT 上，所有三种方法都优于现有的轻量级深度连接方案，并且在有限的 $p$ 下获得了最佳验证损失，这表明指数图不是球形残余流的首选回缩，而仅仅是光谱的一端。