白化提高了线性探头中杂散相关的鲁棒性

深度神经网络往往依赖于可能是虚假的简单特征，因此无法泛化。我们在线性探针的设置中研究这个问题，其中将（广义）线性模型拟合到（预训练）模型的表示上。我们使用这些模型与最大边缘分类器的连接，并表明它们倾向于与协方差矩阵的大特征值相关的方向。白化通过均衡协方差矩阵的特征值来消除这种偏好。这一观察结果促使白化作为预处理步骤，可以减少对虚假相关性的依赖，而无需事先了解其存在或标记数据。我们检查了白化对合成数据生成过程和标准虚假相关基准的影响，发现它提高了鲁棒性。我们还发现，当添加到现有方法中时，白化可以提高鲁棒性。