大视觉语言模型中的跨文化价值归因

近年来，大型视觉语言模型（LVLM）的快速采用伴随着越来越多的公平性担忧，因为它们倾向于强化有害的社会刻板印象。虽然人们对社会偏见背景下的公平性问题给予了极大的关注，但之前相对较少的工作研究了 LVLM 中与宗教、国籍和社会经济地位等文化背景相关的刻板印象的存在。在这项工作中，我们旨在通过调查图像中描绘的文化背景如何影响 LVLM 对个人道德、伦理和政治价值观的判断来缩小这一差距。我们使用反事实图像集对九个 LVLM 中的此类价值判断进行多维分析，这些图像集描绘了不同文化背景下的同一个人。我们的评估框架将描述性分析（道德基础理论分类、词汇分析和价值敏感性）与新颖的基础分析相结合，该分析将 LVLM 跨情境变化与两项大规模人类调查（MFQ-2 和 WVS Wave 7）进行比较。在 480 万代 LVLM 中，我们发现了三种在不同架构模型中复制的偏见模式：WVS 中社会经济地位与权威关系的倒置，以及在描述中东人时超越文化背景线索的两种种族条件失败。额外的消融表明，社会经济地位与权威的倒置偏差通过图像调节而被放大，并且在不同的模型大小中持续存在。