规范色彩作为视觉编码器和 VLM 中概念解码性的镜头

视觉编码器为视觉语言模型构建图像输入的表示。该表示包含多少概念性信息（而不是立即可见的信息）？我们使用规范颜色作为受控测试用例，以询问视觉编码器是否可以线性访问规范颜色信息，即使从输入图像中删除颜色也是如此。我们构建了具有规范颜色的对象数据集，并使用彩色和灰度图像探测颜色和对象身份的视觉编码器。我们发现规范颜色仍然可以从灰度图像中解码，并且与预测的对象身份相关，表明概念上的联系。将此分析扩展到完整的 VLM，我们发现 VLM 后训练 对视觉编码器中的颜色解码能力产生令人惊讶的巨大影响。总体而言，规范颜色为跟踪视觉编码器和 VLM 中的对象级概念语义信息提供了一个有用的可控镜头。