图像-文本指标是否尊重语义不变性？

无参考图像到文本评估器现在是对图像标题对齐进行评分的标准，但尚不清楚它们是否尊重语义不变性。我们对五个流行的评估器（CLIPScore、PAC-S、UMIC、FLEUR 和确定性 LLM 判断器）在沿三个轴（空间（翻转、上下文保留重新定位、光旋转）、对象（尺度、类别）和社会语言框架（具有中性和长度匹配控制的文化/经济形容词））的语义保留扰动下提出了不变性探测。在三个检测数据集和三个标题评估套件的精选切片中，我们发现一致的非语义敏感性，其中良性空间编辑和简单的措辞变化平均将分数移动 $\approx$6--9\% ，而对于仅相距 0.7\% 的系统，这些变化可能会导致高达 $\sim$37\% 的情况下的排名翻转，特别是在空间变化的情况下。一项小型人类研究也支持这一发现，并证实注释者通常判断扰动对同样正确，因此这些变化反映了度量行为而不是语义变化。我们进一步提出了不变性校准评分，这是一种事后调整，可将中值绝对敏感度大致减半，同时保留与学习的标题评估器的相关性。