使用随机矩阵理论检测长视野 grokking 中神经网络的过度拟合

在不过度拟合的情况下训练神经网络 (NN) 是很困难的；检测过度拟合也很困难。我们提出了一种新颖的随机矩阵理论方法，可以在不访问训练或测试数据的情况下检测深度学习模型中过度拟合的发生。对于每个模型层，我们按元素随机化每个权重矩阵，$\mathbf{W} \to \mathbf{W}^{\mathrm{rand}}$，用 Marchenko-Pastur 分布拟合随机经验谱分布，并识别违反自平均的大异常值。我们将这些异常值称为相关陷阱。在过度拟合的开始阶段，我们将其称为长视野 grokking 中的“反 grokking”阶段，随着测试精度下降而训练精度保持较高，相关陷阱的数量和规模会形成并增长。陷阱可能是良性的，也可能损害泛化；我们提供了一种经验方法来区分它们，通过训练模型传递随机数据并评估输出 logits 的 JS 散度。我们的研究结果表明，反 Grokking 是一个额外的 Grokking 阶段，具有较高的训练精度和较低的测试精度，通过其相关陷阱在结构上与预 Grokking 不同。更广泛地说，我们发现一些基础规模的 LLM 表现出相同的相关陷阱，表明潜在有害的过度拟合。