当模态差距缩小失败时：CLIP 中的预测级 Hubness

人们普遍期望减少 CLIP 中图像和文本表示之间的模态差距，以改善跨模态对齐和下游性能。然而，较小的平均图像文本间隙并不一定会带来一致的准确性增益。我们从零样本分类中的决策结构的角度分析这种不匹配，即为输入图像选择最相似的类文本原型。零样本精度不仅取决于平均图像-文本对齐，还取决于类别决策裕度。使用线性校正作为分析上易于处理的情况，我们表明模态间隙校正可以改变类之间的相对决策结构，并使预测集中在一小部分类上。我们将这种输出空间故障模式称为预测级中心度。此外，跨多个数据集的实验表明，对于线性校正和基于学习的校正方法，间隙校正下的精度下降始终与预测集中度的增加相关。这从下游决策结构的角度系统地解释了为什么模态间隙减少不能始终如一地提高 CLIP 零样本精度。我们的结果表明，间隙校正不仅应该通过平均对齐来评估，还应该通过其对下游预测结构的影响来评估。