通过对数对齐比进行泛化训练时诊断

我们研究参数化理论中引入的对数对齐比（LAR），一种参数激活对齐的度量。我们将其重新表述为矩阵归一化平方奇异值的权重谱 $p$ 与输入在其奇异方向上的归一化平方投影的激活谱 $q$ 之间的重叠。我们展示了非嵌入 LAR 通过捕获训练期间 $p$ 和 $q$ 的分布来跟踪两种不同设置中记忆和泛化之间的转变。在grokking中，LAR预测学习函数的有效维度：$k \approx n^{2(1-\text{LAR})}$，其中$n$是矩阵的输入维度。在 3B 参数语言模型 预训练 中，其与非过拟合基线的偏差跟踪泛化差距，并且其下降率随着过拟合的接近而增加。 LAR 可以根据前向传递过程中可用的数量进行计算，计算开销可以忽略不计，并且不需要保留验证数据。