量化残差神经网络的深度充足性：一阶标准

我们如何确定训练好的神经网络是否已经足够深？我们在固定功能保留残差增长协议下研究这一点，该协议指定插入位置、残差族、零输出初始化和零状态一阶更新。我们将一阶残余深度饱和度定义为每次允许的插入都没有严格的局部减少。我们证明残差非简并性是必要且充分的：当条件激活梯度在至少一个允许的残差切线空间上具有非零投影时，附加深度恰好具有一阶值。该边界由下降兼容的零状态更新共享，并且在保留该切线空间的常规局部重新参数化下保持不变。在残差信号可实现性下，原始激活梯度消失准确地证明了饱和度。在 ResNet、GPT-2 型模型和持续预训练的 Pythia 检查点中，最大激活梯度范数随着深度的增加而向低信号状态下降。保留功能的增长还可以实现与从头开始的训练相媲美的融合性能。这些结果支持激活梯度幅度作为剩余深度的剩余经验一阶值的保守诊断。