MAVEN：具有紧凑一致评估器的多模式内容的宏观社会价值评估框架

评估多模式内容是否符合和平、正义和自由等宏观社会价值观，已成为一个日益紧迫的挑战。现有的框架主要局限于以安全为导向的分类法、纯文本心理测量探针或单标签分类。因此，我们提出了MAVEN，一个基于国际人权文书和文化价值理论的多模式内容宏观社会价值评估的分层框架。 MAVEN将数值组织成6个一级维度和72个二级指标，支持多级量化评分。在 MAVEN 的基础上，我们构建了经过人工验证的多模式基准和软匹配指标，以评估 VLM 跨价值维度的评估。对于评估器优化，我们提出了评估器 蒸馏 的多级偏好优化的跨度自适应变体，以及推理时的 无需训练 多角色共识策略。我们根据基准评估现有的开源和闭源 VLM，揭示宏观社会价值判断的共同趋势和明显差异。实验表明，我们的紧凑型 2B 评估器与同系列中的 8B 评估器相匹配，并接近前沿闭源 VLM，为可扩展的宏观社会价值评估提供了一条实用途径。我们的 SA-MDPO 实现和 MacroValue-Bench 可在 https://github.com/zzzzzzzzjj/MAVEN 上获取。