NeuronEye：用于视觉语言推理的查询引导视觉概念激活

当前的视觉语言模型（VLM）以密集的隐藏状态编码视觉信息，其中对象身份、空间布局和局部属性隐式地纠缠而不是显式地解开，限制了它们隔离和调节给定语言查询所需的特定视觉证据的能力。受到生物视觉中稀疏群体编码和自上而下调制的启发，我们引入了 NeuronEye，这是一个插件框架，它从中间 VLM 表示构建稀疏的概念级神经元词汇，并在推理过程中有选择地激活与查询相关的视觉概念。 NeuronEye 将视觉词元状态分解为由概念级集群组织的超完备稀疏基础，使用语言查询激活相关集群并定位表达所选概念的补丁，并将聚焦证据注入视觉词元中。互补的抑制机制削弱了主导感知方向，以保留较弱但相关的线索。所有操作都在冻结的 VLM 主干上以一次前向传递的方式运行。在 Qwen2.5-VL-7B 上，NeuronEye 将 CV-Bench 整体精度提高了 +3.1，距离提高了 +9.5，并将 BLINK 多视图提高了 +8.3，与 LLaVA-1.6-7B 上的趋势类似。这些结果表明，稀疏神经元词汇不仅可以作为事后可解释性工具，还可以作为概念级视觉推理的主动接口。