论文

别只盯着数字:VLM中的视觉锚定偏差与逐层表征

Don't Look at the Numbers: Visual Anchoring Bias and Layer-wise Representation in VLMs

模型评测模型行为与机制分析

摘要

图像上嵌入的数字锚点会系统性偏置视觉语言模型的质量判断,涉及来自五个架构家族的六个VLM(ANOVA eta^2 = 0.18-0.77,均p < 0.001)。锚点效应比严重图像质量退化大2.5倍,证实该偏差不能归结为视觉变化。逐层探针揭示出一致的解离现象:锚点分类达到饱和的层(L12-L34)对质量预测并非最优,最优层更深(R^2 = 0.69-0.91)。融合分析识别出依赖架构的整合方式——两个模型在L1-L2即发生即时融合,另外三个模型则为部分融合或无融合。这些结果建立了视觉锚定偏差的因果解释,将行为层面的易感性与表征动力学联系起来。

别只盯着数字:VLM中的视觉锚定偏差与逐层表征:论文配图
图 1.VLM 中视觉锚定偏差的概念框架。干净且锚定的输入(具有重叠数字评级的图像)通过变压器的分层架构进行处理。分数探测检查跨层的质量表示;融合层识别文本和视觉信号融合的位置;锚点突破层标记文本分类饱和的位置。由此产生的 Δ\Delta(锚定偏移)量化了嵌入锚点对模型质量判断的因果影响。