白化颠倒了层次结构：白化嵌入的规范衡量什么

白化基础模型嵌入并使用其平方范数作为免训练似然替代项的动机是观察到白化坐标通常看起来近似标准正态。我们证明这一观察结果遵循投影中心极限定理，因此并不意味着高斯联合分布。在多个编码器和三个训练目标中，我们发现白化半径相对于高斯参考的系统性过度分散，包括针对具有相同均值和协方差的分布克隆。我们进一步表明，经验统计和理论范数统计之间普遍报道的一致性是样本内白化的代数结果，并不构成高斯性的证据。我们确定了这种行为背后的机制：白化反转了编码器的谱层次结构，将对平方范数的贡献转向主要编码噪声的近简并方向。在这些方向上，主要的变异性由单一的依赖于输入的尺度控制。我们从两个时刻估计这个尺度，并用它来预测不相交的谱半部之间的交叉依赖性，而无需额外的自由参数。这些结果表明，平方白化范数更适合解释为语义非典型性的马哈拉诺比斯度量，而不是解释为对数似然。这种解释解释了它的实际有效性和校准失败：统计量可以与非参数密度估计一致地对非典型样本进行排序和检测，并且可以跨使用不同目标训练的编码器，而高斯尾部阈值可能不准确几个数量级。 ETC。