均值池余弦相似度不是长度不变的：长度不变替代方案的理论和跨领域证据

均值池余弦相似度是比较跨语言、模式和任务的神经表示的默认指标。我们确定该度量不是长度不变的：在表征现代 Transformer 表示的各向异性下，平均池余弦在序列长度上单调增长，与表示内容无关。根据经验，在跨越四个代码 LLM 的 HumanEvalPack 上，仅长度比率就解释了跨语言“Python 邻近性”的 $R^2 = 0.52$--$0.75$，而 AST 深度和共享词元分数在长度之外增加了不到 3% 的解释方差。替代中心核对齐 (CKA) 可将解释方差减少 83%，并反转长度系数的符号 ($β_{\mathrm{len}}: +0.86 \to -0.37$)。同样的模式在 Mistral-7B 的并行 WMT 对上也成立（对于余弦，$R^2 = 0.23$ EN-FR；对于余弦，$R^2 = 0.33$ EN-DE；对于 CKA，$R^2 < 0.01$）。在 CLIP ViT-B/32 中，均值池相对于 EOS 池减少了长度效应 ($R^2: 0.21 \to {<}0.01$)，正如理论对各向异性的依赖所预测的那样。我们认为，诸如 CKA 之类的长度不变指标应该是交叉表示比较的默认值，并且最近关于建立在均值池余弦基础上的跨语言表示收敛的主张值得重新审查。