嵌入空间的各向异性决定余弦与秩相关相似度的适用性

比较文本嵌入通常使用余弦相似度。已有零散研究发现其他度量可能更好，但未明确决定这种差异的几何条件。本文在19种编码器、19种无参数相似度和7个数据集上进行系统比较，编码器从紧凑句子Transformer到70亿参数大语言模型。当方差均匀分布于不同方向时，余弦是最佳无参数选择，其他度量没有实用幅度的改善；当方差集中于少数主导方向，即呈现各向异性时，秩相关和L1类度量明显优于余弦。绝对提升有限，但因为这些编码器的余弦基线较低，平均相对改善约20%，余弦越弱改善越明显。决定因素是嵌入几何而非训练方式；二者不一致时，度量的表现随几何变化。最大主导维度的方差占比这一数值可以预测19种编码器上替代度量的收益，秩相关为0.86、线性相关为0.95。为检验因果性，研究去除主导方向后发现余弦表现恢复，其他度量的优势几乎消失，但仅出现在原本具有各向异性的编码器上。向量归一化后该现象仍存在，说明原因在方向而非模长。对于方差分布良好的编码器，包括常用于检索的微调嵌入模型，余弦仍是合适的无参数工具；本文提供单一数值诊断以识别例外。