研究受控反事实扰动下视觉基础的各向异性

视觉基础基准假设引用表达式描述的对象始终存在于图像中，因此很少在语义不匹配的标题下评估基础模型。在这种情况下，模型经常表现出近似行为，产生一个仅满足部分表达式的合理边界框（例如，保留原始对象，同时忽略修改后的上下文线索）。由于不匹配的标题代表现实的边缘情况，因此这种行为会损害可靠性并从可解释性的角度引起担忧。因此，识别其根本原因对于改进模型 忠实性 和可解释性至关重要。这项工作采用机械可解释性的观点，研究嵌入各向异性是否会导致反事实失败。引入了相似性控制的反事实字幕生成协议，以系统地扰乱预定义的嵌入相似性区间内的对象或上下文组件，从而能够对作为对齐函数的基础行为进行细粒度分析。对嵌入几何形状明显不同的两个基于 Transformer 的模型（基于 BERT 的 TransVG 和基于 CLIP 的 SwimVG）进行的实验表明，余弦相似度和近似值之间没有有意义的相关性。这些发现表明，各向异性本身并不能解释反事实错误，并且鲁棒性需要研究嵌入空间的更细粒度的几何特性。