计数存在，但未对齐：理解和纠正 VLM 中的计数失败

尽管在许多多模式任务上表现出色，但视觉语言模型 (VLM) 仍然难以处理基本的对象计数。我们调查这是否反映了内部知识的缺失或内部表征与语言输出之间的差距。对来自五个计数数据集的四个 VLM 的激活训练简单探针表明，非线性探针可以可靠地检测计数错误，这表明 VLM 经常编码正确的计数，即使它们输出错误的答案。 SVCCA 分析表明，在 真值 计数上训练的探针和在模型输出上训练的探针占据部分共享的激活子空间，但沿未对齐的方向读取。我们使用因果转向干预进一步验证了我们的发现，证明加强计数识别探针的方向确实可以提高模型计数性能。受此结果的启发，我们提出了一种检测器引导的自校正方法，仅当内部错误检测器预测故障时才选择性地重新提示模型。这种简单的推理时间干预可将计数准确度提高高达 15.6 个绝对百分点，且无需任何参数更新。我们的结果表明，基于激活的误差探测既是改进 VLM 计数的实用工具，也是观察内部知识和模型输出之间差距的机械透镜。