风格偏见：少数人类视觉线索导致 MLLM 中的大多数社会偏见

多模态 大语言模型 (MLLM) 越来越多地部署在对个人和社会有重大影响的环境中，但影响这些模型如何判断人们的视觉线索仍然知之甚少。先前的工作经常比较不同（群体）的个体，因此很难将外观影响与身份差异分开。我们引入了 StylisticBias，这是一个用于评估 MLLM 属性级社会偏见的受控基准。我们生成 500 个逼真的基本面，并为每个面创建约 50 个单属性变体，生成约 25K 图像。这种设计保持身份固定，并一次改变一个视觉属性。它让我们能够衡量特定线索如何改变模型判断。我们在 25 个二元社会判断场景中评估了 6 个 MLLM。我们发现年龄和体型主导着身份层面的影响，而时尚风格和其他视觉线索则推动了最大的属性层面的转变。我们进一步发现，大约 15 个属性占总变异的近 80%，表明偏差集中在一小部分视觉线索中。在语义上与外表一致的判断中，敏感性最强，尤其是与社会经济和风格相关的判断。我们发布了 StylisticBias 作为多模态模型中细粒度偏差评估的基准。代码和数据集：https://github.com/timo-cavelius/StylisticBias 和 https://hf.co/datasets/shaghayegh/stylistic-bias-dataset。