受神经科学启发的多模态视觉趣味性分析 Transformer

人类注意力是有意识感知、记忆和决策的门户。然而，它在现代 Transformer 模型中的作用在很大程度上仍未被探索。随着这些系统越来越多地影响人们的所见、偏好和购买，问题就出现了：它们是否编码了人类利益的原则，或者仅仅利用了大规模的相关性。解决这个问题对于理解认知和确保在沟通和营销中负责任地使用人工智能至关重要。为了解决这个问题，我们在多模态视觉语言模型 Qwen3-VL-8B 中检查了视觉兴趣的概念，使用了从照片共享平台 Flickr 上的大规模人类参与数据得出的预定义共同兴趣度 (CI) 分数。在这里，我们使用神经科学的方法分析了视觉和语言成分的内部表征。我们的分析表明，CI 信息可从最终层嵌入中线性解码，这表明它与人类对视觉兴趣度的测量结果一致。降维和广义判别值 (GDV) 分析表明，与 CI 相关的隐藏表示出现在中间视觉 Transformer 层中，并且在语言模型层之间逐渐变得更加可区分。使用基于几何、探测和稀疏自动编码器的方法导出的概念向量在较高层中收敛，正如表征相似性分析所证实的那样。这表明在没有明确监督的情况下对视觉趣味性进行了鲁棒且结构化的编码。未来的工作将寻求确定连接人脑动力学和 Transformer 架构的共享计算原理，最终目标是揭示引起生物和人工系统关注和兴趣的组织机制。