感知、提炼、推理：用于衡量社交媒体战略视觉传播指标的校准管道

视觉内容塑造了受众对社交媒体的看法和意见，计算社会科学越来越依赖自动化工具来大规模分析图像。然而，测量差距仍然存在：现有工具依赖于预定义的类别或仅生成粗略的图像级标签，而大规模测量图像中出现的特定对象、突出程度以及帧中的位置仍然很困难。我们引入了 Perceive、Refine、Reason (PRR)，这是一种校准管道，可将灵活的视觉语言检测器转变为用于社会科学研究的可审核测量工具。 PRR 通过分段任意模型 (SAM) 和多模式 LLM 仲裁层将自然语言类别提示与像素级空间细化相结合，其推理链将领域知识外化，并降低了人机交互验证的专业门槛。互补的三层可审核性框架应用量化学习来分析每个类别的可靠性、支持任务一致的配置以及统计上正确的患病率估计。在四个视觉语言检测器和九个社会学类别中，该管道比零样本基线产生了显着的精度增益，其中最强骨干网的精度提高了 43.3 点。将 PRR 应用于 2024 年选举周期期间美国立法者的 103,920 张 Facebook 图像，并将检测结果与 DW-NOMINATE 意识形态分数联系起来，我们发现更保守的立法者将美国国旗显示为更大的视觉元素，边缘放置的趋势较弱，这是二进制检测不可见的空间模式。 PRR 为计算社会科学家提供了一个与模型无关的工具包，用于可访问的、基于空间的、可校正的视觉测量。